バッチ処理
大量のデータを、1件ずつではなく区切られた単位でまとめて処理する方式。パンチカード時代のジョブもバッチであり、最古のデータ処理モデルでありながら、今もデータ基盤の大半を支えている。
典型は夜間ジョブである。その日の取引を読み込み、変換し、データウェアハウスへ書き出す。利点ははっきりしている。オーバーヘッドが数百万行に分散されるのでスループットが高く、失敗したら再実行すればよいのでエラー処理が単純で、結果も再現できる。代償は遅延で、答えは最後の実行時点までしか新しくならない。
代表的な道具はMapReduce、Spark、dbt、そしてAirflowのようなオーケストレーターである。対極にあるのがKafkaやFlinkによるストリーム処理で、ラムダアーキテクチャは両者を併用した。現在は「秒単位が本当に必要だ」と誰かが証明するまで、マイクロバッチで済ませることが多い。