Apache Druid
Base de données analytique colonnaire conçue pour répondre à des requêtes d'agrégation sur des milliards de lignes pendant que les données arrivent encore.
Druid a été écrit chez la régie publicitaire Metamarkets en 2011 pour un problème que les entrepôts classiques ne savaient pas résoudre : des tableaux de bord qui doivent se rafraîchir en temps réel tout en répondant en moins d'une seconde. La solution consiste à partitionner les données en segments par intervalle de temps, à les stocker en colonnes avec des index bitmap sur les dimensions, et à pré-agréger éventuellement les mesures dès l'ingestion, si bien qu'un million de lignes par minute devient une seule ligne.
Le cluster se répartit en rôles distincts — ingestion, nœuds historiques qui conservent les segments, et brokers qui éclatent la requête puis fusionnent les réponses. L'ingestion temps réel vient le plus souvent directement de Kafka. Netflix, Airbnb et Reddit le font tourner à cette échelle depuis des années.