Пакетная обработка
Обработка больших объёмов данных ограниченными по размеру прогонами, а не событие за событием. Самая старая модель обработки данных — задания на перфокартах были пакетными — и до сих пор основа большинства дата-платформ.
Образец — ночное задание: транзакции за день считываются, преобразуются и записываются в хранилище данных. Плюсы вполне осязаемы: высокая пропускная способность, поскольку накладные расходы распределяются на миллионы строк; простая обработка ошибок, потому что упавшее задание просто запускают заново; и детерминированные, воспроизводимые результаты. Цена — задержка: ответ свеж лишь настолько, насколько свеж последний прогон. Инструменты — MapReduce, Spark, dbt и оркестраторы вроде Airflow. Противоположность — потоковая обработка на Kafka и Flink. Lambda-архитектура объединяла оба подхода, а современная практика чаще обходится микропакетами — пока кто-нибудь не докажет, что секунды действительно важны.