PySpark
Pythonowe API Apache Spark — cała funkcjonalność Sparka (DataFrame, Spark SQL, MLlib, Structured Streaming) dostępna z poziomu Pythona.
Działa przez Py4J, który łączy Pythona z JVM. Początkowo narzut przełączania kontekstu między JVM a Pythonem był odczuwalny; Spark Connect (3.4, 2023) używa zamiast tego gRPC, co poprawia wydajność. Pandas API on Spark (dawniej Koalas) daje składnię pandas skalowaną na Sparku. Domyślny wybór w Databricks, AWS Glue i wielu zadaniach inżynierii danych.