Apache Druid
データが流れ込んでいる最中でも、数十億行に対する集計クエリに答えるために作られた列指向の分析データベース。
Druidは2011年、広告企業Metamarketsで、従来のウェアハウスでは扱えない問題のために書かれた。ダッシュボードをリアルタイムに更新しつつ、1秒未満で応答させるという要件である。方式は、データを時間間隔ごとのセグメントに分割し、列単位で保存してディメンションにビットマップインデックスを張り、必要なら取り込み時にメジャーをロールアップして毎分100万行を1行にまとめる、というものだ。クラスタは役割に分かれ、取り込み、セグメントを保持するヒストリカルノード、クエリを分散して結果を統合するブローカーがある。リアルタイム取り込みは通常Kafkaから直接行う。Netflix、Airbnb、Redditがこの規模で長年運用している。