Google Cloud Dataflow
Подробнее
- Владелец
- Выпущен
- 2015
- Тип
- Сервис обработки данных
- Официальный сайт
- cloud.google.com
Управляемый Google раннер для конвейеров Apache Beam — один и тот же код для пакетной и потоковой обработки, без кластера, за которым надо следить.
Сервис пришёл на смену внутреннему MapReduce в Google и стал общедоступным в 2015 году. Тогда же модель программирования была передана Apache Foundation как Apache Beam, поэтому конвейер, написанный для Dataflow, в принципе может работать на Flink или Spark. Модель построена на окнах, водяных знаках и триггерах — понятиях из статьи Google The Dataflow Model (2015), повлиявших на то, как вся индустрия рассуждает о запоздавших и неупорядоченных данных.
Сервис бессерверный в том смысле, что сам запускает и масштабирует воркеры, в том числе перебалансирует работу между узлами по ходу выполнения. Тарификация посекундная — за CPU и память, что выгодно для всплесков нагрузки и дорого для всего, что с тем же успехом могло бы быть ночным прогоном ETL.