Apache Spark
El motor que desplazó a MapReduce procesando en memoria en lugar de escribir a disco entre cada paso.
Nació en Berkeley en 2009. Su idea central fue mantener los datos intermedios en la memoria del clúster, lo que para trabajos iterativos —típicos del aprendizaje automático— supuso mejoras de un orden de magnitud.
Se programa con un lenguaje de transformaciones que se evalúa de forma perezosa: no se ejecuta nada hasta que se pide un resultado, momento en que el optimizador ve el plan completo. Es potente y también la razón de que los errores aparezcan lejos de la línea que los causó.