Apache Spark

Apache Sparkは、ビッグデータ処理と機械学習のためのオープンソースの分散処理フレームワークです。メモリ内処理（インメモリ処理）を特徴としており、従来のMapReduceと比較して高速なデータ処理を実現します。バッチ処理、リアルタイムストリーミング、SQLクエリ、グラフ処理など多様なワークロードに対応しており、Netflixのような膨大なデータを扱う企業のデータパイプラインや分析基盤として広く採用されています。