Apache Druid
Kolumnär analysdatabas byggd för att svara på aggregeringsfrågor över miljardtals rader medan data fortfarande strömmar in.
Druid skrevs på annonsföretaget Metamarkets 2011 för ett problem klassiska datalager inte klarade: instrumentpaneler som ska uppdateras i realtid och samtidigt ha sekundsnabba svar. Lösningen är att partitionera data i segment per tidsintervall, lagra kolumnärt med bitmapp-index på dimensionerna, och valfritt förskumma mätvärden redan vid intag så att en miljon rader per minut blir en rad per minut. Klustret består av separata roller — intag, historiska noder som håller segment, och brokers som fläktar ut frågan och slår ihop svaren. Realtidsintag sker oftast direkt från Kafka. Netflix, Airbnb och Reddit har kört det i den skalan i åratal.