PySpark
Python API для Apache Spark: вся функциональность (DataFrame, Spark SQL, MLlib, Structured Streaming) доступна из Python.
Работает через Py4J, который связывает Python и JVM. Раньше из-за переключения контекста JVM были накладные расходы; Spark Connect (3.4, 2023) использует gRPC и работает быстрее. Pandas API on Spark (прежде Koalas) переносит синтаксис pandas на кластер Spark. Стандарт в Databricks, AWS Glue и большинстве задач дата-инжиниринга.