Dask
Параллельный Python: код в стиле pandas/NumPy выполняется на кластере (или на всех ядрах локально) — Dask строит граф задач и исполняет его лениво.
Автор — Мэтт Роклин, 2014 год. Основа: dask.array, dask.dataframe, dask.bag, повторяющие NumPy и pandas. Масштабирует pandas на 100+ узлов через секционированные DataFrame. Распределённый планировщик — отдельный процесс Python, координирующий воркеры.
Конкуренты: Modin (drop-in замена pandas), Ray, Spark, Polars (один узел, быстрее). Лучшее применение Dask — готовый конвейер на pandas, которому стало тесно в памяти одной машины.