Apache Beam
Mer info
- Skapad av
- År
- 2016
- Ägare
- Apache Software Foundation
- Typ
- Programmeringsmodell
- Licens
- Apache 2.0
- Officiell sajt
- beam.apache.org
En enhetlig modell för batch- och strömbearbetning där samma pipeline kan köras på Flink, Spark eller Dataflow.
Namnet är en hopslagning av batch och stream. Google skänkte modellen bakom Cloud Dataflow till Apache 2016, och poängen var att bryta kopplingen mellan hur en pipeline uttrycks och var den körs: pipelinen skrivs i Java, Python eller Go, och en runner översätter den till Flink, Spark eller Dataflow.
Det bestående bidraget är begreppsapparaten för tid. Beam skiljer på händelsetid och bearbetningstid, hanterar sen data med watermarks och låter triggers bestämma när ett fönsterresultat ska släppas. Den vokabulären har spridit sig långt utanför Beam. Löftet om verklig portabilitet infriades däremot bara delvis — runners stöder olika delmängder av modellen, och en pipeline som flyttas mellan dem kräver oftast justeringar.