Google Cloud Dataflow

Efterträdde Googles interna MapReduce och lanserades i allmän tillgänglighet 2015. Programmeringsmodellen skänktes samtidigt till Apache Foundation som Apache Beam, så en pipeline skriven för Dataflow kan i teorin köras på Flink eller Spark istället. Modellen bygger på fönster, watermarks och triggers — begrepp som kom ur Google-artikeln The Dataflow Model (2015) och sedan dess format hur hela branschen resonerar om sen och oordnad data.

Tjänsten är serverlös i den meningen att den startar och skalar arbetarna själv, inklusive omfördelning av arbete mellan noder mitt i en körning. Priset betalas per sekund CPU och minne, vilket gör den vass för oregelbundna jobb och dyr för sådant som lika gärna kunde varit en nattlig ETL-körning.