Apache Druid
Banco de dados analítico colunar construído para responder consultas de agregação sobre bilhões de linhas enquanto os dados ainda estão chegando.
O Druid foi escrito na empresa de publicidade Metamarkets em 2011 para um problema que os data warehouses clássicos não resolviam: painéis que precisam atualizar em tempo real e ainda assim responder em menos de um segundo. A abordagem é particionar os dados em segmentos por intervalo de tempo, armazená-los de forma colunar com índices de bitmap nas dimensões e, opcionalmente, pré-agregar as métricas já na ingestão, de modo que um milhão de linhas por minuto vire uma só. O cluster se divide em papéis — ingestão, nós históricos que guardam os segmentos, e brokers que distribuem a consulta e juntam as respostas. A ingestão em tempo real costuma vir direto do Kafka. Netflix, Airbnb e Reddit rodam nessa escala há anos.