Dagster
Nowoczesny orkiestrator danych, w którym „aktywa” (zbiory danych, dashboardy, modele ML) są obiektami pierwszej kategorii — a nie tylko zadania, jak w Airflow.
Elementl (2018), Nick Schrock (wcześniej Facebook, GraphQL). „Software-defined assets” deklarują, jakie dane ma wytworzyć potok; zależności Dagster ustala sam. Wbudowane: kontrola typów, pochodzenie danych (lineage), partycje, obserwowalność i lokalne środowisko deweloperskie.
Wyraźnie wygodniejszy w pracy niż Airflow w nowych projektach. Najlepiej sprawdza się w zespołach, które poważnie traktują inżynierię danych i chcą testów oraz typów. Konkurenci: Airflow (mainstream), Prefect (lżejszy), Mage.