PySpark
Apache SparkのPython API。DataFrame、Spark SQL、MLlib、Structured Streamingといった機能をすべてPythonから使える。
PythonとJVMをつなぐPy4Jを介して動作する。当初はJVMとのコンテキスト切り替えによるオーバーヘッドがあったが、Spark Connect（3.4、2023年）はgRPCを使って性能を改善した。Pandas API on Spark（旧Koalas）はpandas構文のままSparkで規模を拡張できる。Databricks、AWS Glue、多くのデータエンジニアリング業務で標準的に使われている。