Batchverarbeitung Batch Processing
Große Datenmengen in abgegrenzten Läufen zu verarbeiten statt Ereignis für Ereignis. Das älteste Datenverarbeitungsmodell überhaupt — Lochkarten-Jobs waren Batch — und immer noch das Rückgrat der meisten Datenplattformen.
Das Paradebeispiel ist der Nachtlauf: Die Transaktionen des Tages werden eingelesen, transformiert und in ein Data Warehouse geschrieben. Die Vorteile sind handfest — hoher Durchsatz, weil sich der Overhead auf Millionen Zeilen verteilt, einfache Fehlerbehandlung, weil ein gescheiterter Job einfach erneut läuft, und deterministische, reproduzierbare Ergebnisse. Der Preis ist Latenz: Die Antwort ist immer nur so aktuell wie der letzte Lauf. Werkzeuge: MapReduce, Spark, dbt und Orchestrierer wie Airflow. Das Gegenstück ist Streamverarbeitung mit Kafka und Flink. Die Lambda-Architektur kombinierte beides, während die moderne Praxis eher Mikrobatches fährt — bis jemand tatsächlich beweist, dass Sekunden zählen.