Apache Airflow
Orchestrateur de workflows en Python — définir des pipelines comme des DAG de tâches en code, les planifier et visualiser leur exécution.
Créé par Maxime Beauchemin (Airbnb) en 2014, donné à l'ASF en 2016. Le cœur des entrepôts de données modernes : job d'extraction → job de transformation → job de chargement, avec reprise sur erreur, alertes et rejeu intégrés. Prend en charge des centaines d'opérateurs (BashOperator, KubernetesPodOperator, SnowflakeOperator).
Critiqué pour la magie des DAG en Python (certains idiomes restent obscurs), la charge de l'ordonnanceur et une interface lourde. Concurrents : Dagster (typé, local-first), Prefect (API Python moderne), Argo Workflows (natif Kubernetes). Airflow l'emporte quand même par la largeur de son écosystème.