Google Cloud Dataflow

Google社内のMapReduceの後継として、2015年に一般提供が始まった。プログラミングモデルは同時にApache Beamとして Apache Foundationへ寄贈されたため、Dataflow向けに書いたパイプラインは理屈の上ではFlinkやSparkでも動く。モデルの土台はウィンドウ、ウォーターマーク、トリガーで、2015年のGoogleの論文「The Dataflow Model」で提示されたこれらの概念は、遅延データや順序の乱れたデータの扱い方を業界全体で形作った。

サービスはワーカーの起動とスケールを自動で行い、実行中のノード間の負荷再分散まで面倒を見るという意味でサーバーレスだ。課金はCPUとメモリの秒単位で、突発的なジョブには鋭く効くが、夜間のETLで済んだはずの処理には高くつく。