Apache Druid
Колоночная аналитическая база, рассчитанная на агрегирующие запросы по миллиардам строк, пока данные ещё продолжают поступать.
Druid написали в рекламной компании Metamarkets в 2011 году под задачу, с которой не справлялись классические хранилища: дашборды должны обновляться в реальном времени и при этом отвечать быстрее секунды. Данные режутся на сегменты по временным интервалам, хранятся по столбцам с битовыми индексами по измерениям, а метрики при желании сворачиваются уже при загрузке — миллион строк в минуту превращается в одну. Кластер делится на роли: приём данных, исторические узлы, хранящие сегменты, и брокеры, которые разносят запрос по узлам и склеивают ответы. Поток в реальном времени чаще всего приходит прямо из Kafka. Netflix, Airbnb и Reddit запускали его в таких масштабах годами.