Google Cloud Dataflow
O runner gerenciado do Google para pipelines Apache Beam: o mesmo código para batch e streaming, sem cluster para cuidar.
Sucedeu o MapReduce interno do Google e chegou à disponibilidade geral em 2015. O modelo de programação foi doado à Apache Foundation como Apache Beam na mesma época, de modo que um pipeline escrito para o Dataflow pode, em princípio, rodar no Flink ou no Spark. O modelo se apoia em janelas, watermarks e triggers, conceitos apresentados no artigo The Dataflow Model (2015) do Google, que moldaram a forma como toda a indústria pensa sobre dados atrasados e fora de ordem.
O serviço é serverless no sentido de que ele mesmo sobe e escala os workers, inclusive redistribuindo trabalho entre nós no meio da execução. A cobrança é por segundo de CPU e memória, o que é ótimo para jobs em rajadas e caro para qualquer coisa que poderia muito bem ser uma rodada noturna de ETL.