Dask
Pythonの並列計算ライブラリ。タスクグラフを作って遅延実行することで、pandasやNumPy風のコードをクラスタ(またはローカルの複数コア)上で走らせる。
2014年にマシュー・ロックリンが開発。中核はNumPy/pandasを模したdask.array、dask.dataframe、dask.bagで、分割されたDataFrameによってpandasを100台以上のノードへ拡張できる。分散スケジューラは、ワーカーを統括する別個のPythonプロセスである。
競合はModin(pandasの置き換え)、Ray、Spark(Scala/Pythonのハイブリッド)、Polars(単一ノードでより高速)。Daskが力を発揮するのは、既存のpandasパイプラインが1台のメモリに収まらなくなった場合だ。