Apache Airflow
Оркестратор рабочих процессов на Python: конвейеры описываются в коде как DAG из задач, запуски планируются и визуализируются.
Создан Максимом Бошеменом (Airbnb) в 2014 году, в 2016-м передан Apache Software Foundation. Сердце современных хранилищ данных: задача извлечения → задача трансформации → задача загрузки, с повторами, оповещениями и backfill «из коробки». Поддерживает сотни операторов (BashOperator, KubernetesPodOperator, SnowflakeOperator).
Критикуют за «магию» Python-DAG (некоторые идиомы неочевидны), накладные расходы планировщика и тяжёлый интерфейс. Конкуренты: Dagster (типизация, local-first), Prefect (современный Python API), Argo Workflows (нативный для Kubernetes). По широте экосистемы Airflow пока впереди.