Dagster
Orchestrateur de données moderne où les « assets » (jeux de données, tableaux de bord, modèles ML) sont des objets de première classe — et pas seulement des tâches, comme dans Airflow.
Elementl (2018), par Nick Schrock (ex-Facebook, GraphQL). Les « software-defined assets » déclarent quelles données un pipeline doit produire ; Dagster en déduit les dépendances. Intégrés : vérification des types, lignage des assets, partitions, observabilité, environnement de développement local.
Nettement meilleure expérience développeur qu'Airflow pour les nouveaux projets. Terrain de prédilection : les équipes qui prennent le data engineering au sérieux et veulent des tests et des types. Concurrents : Airflow (le grand public), Prefect (plus léger), Mage.