PySpark
Apache Spark’ın Python API’si — Spark’ın tüm işlevleri (DataFrame, Spark SQL, MLlib, Structured Streaming) Python’dan kullanılabilir.
Python ile JVM arasında köprü kuran Py4J üzerinden çalışır. Başlangıçta JVM bağlam geçişleri yüzünden ek yük vardı; Spark Connect (3.4, 2023) daha iyi başarım için gRPC kullanır. Pandas API on Spark (eski adıyla Koalas), pandas sözdizimini Spark üzerinde ölçeklendirir. Databricks’te, AWS Glue’da ve pek çok veri mühendisliği işinde varsayılan seçimdir.