Google Cloud Dataflow

Het volgde Googles interne MapReduce op en werd in 2015 algemeen beschikbaar. Het programmeermodel werd tegelijk als Apache Beam aan de Apache Foundation geschonken, zodat een pipeline voor Dataflow in principe ook op Flink of Spark kan draaien. Het model rust op windows, watermarks en triggers: concepten uit Googles paper The Dataflow Model (2015) die bepaald hebben hoe de hele branche denkt over late en niet-op-volgorde binnenkomende data.

De dienst is serverless in die zin dat hij zelf de workers start en schaalt, inclusief het herverdelen van werk tussen nodes tijdens een run. Er wordt per seconde CPU en geheugen gefactureerd, wat scherp uitpakt voor pieken in de belasting en duur voor alles wat evengoed een nachtelijke ETL-run had kunnen zijn.