Apache Spark
Vereinheitlichte Compute-Engine für große Datenmengen — Matei Zaharia (UC Berkeley AMPLab), 2009, 2013 an die ASF gespendet. Dank In-Memory-Caching und DAG-Ausführung deutlich schneller als MapReduce.
Vier Bestandteile: Spark SQL (DataFrames + Catalyst-Optimizer), Structured Streaming (Micro-Batch-Streams), MLlib (maschinelles Lernen), GraphX (Graphen). In Scala geschrieben, mit vollwertigen APIs für Python (PySpark), R und Java.
Kommerzialisiert von Databricks. Konkurrenten: Trino (interaktives SQL), Flink (Stream-first), Snowflake (verwaltetes SQL-Warehouse), DuckDB (Single-Node). Spark dominiert weiterhin das "industrielle Big Data".