Google Cloud Dataflow
Daha fazla bilgi
- Sahibi
- Yayın yılı
- 2015
- Tür
- Veri işleme servisi
- Web sitesi
- cloud.google.com
Google’ın Apache Beam pipeline’ları için yönetilen çalıştırıcısı: toplu ve akış işleme için aynı kod, bakıcılık gerektiren küme yok.
Google’ın şirket içi MapReduce’unun halefidir ve 2015’te genel kullanıma açıldı. Programlama modeli aynı anda Apache Beam adıyla Apache Vakfı’na bağışlandı; yani Dataflow için yazılmış bir pipeline prensipte Flink veya Spark üzerinde de çalışabilir. Model; pencereler, filigranlar (watermark) ve tetikleyiciler üzerine kuruludur. Bu kavramlar Google’ın The Dataflow Model makalesiyle (2015) tanıtıldı ve sektörün geç gelen, sırasız verileri düşünme biçimini şekillendirdi.
Servis, işçileri kendisi başlatıp ölçeklendirdiği, hatta çalışma sırasında düğümler arasında yükü yeniden dengelediği için sunucusuzdur. Faturalama CPU ve belleğin saniyesi üzerinden yapılır; bu da ani yük artışlı işler için keskin, gece çalışan basit bir ETL olabilecek her şey için pahalı bir seçim yapar.