PySpark
L'API Python di Apache Spark: tutte le funzionalità di Spark (DataFrame, Spark SQL, MLlib, Structured Streaming) disponibili da Python.
Funziona tramite Py4J, che fa da ponte tra Python e JVM. All'inizio il passaggio di contesto verso la JVM comportava un overhead; Spark Connect (3.4, 2023) usa invece gRPC, con prestazioni migliori. La Pandas API on Spark (ex Koalas) porta la sintassi di pandas su scala Spark. È la scelta predefinita in Databricks, AWS Glue e in molti lavori di data engineering.