ベクトル量子化
ベクトルデータベース向けの圧縮技術。1024次元のfloatベクトル(約4KB)を、クラスタリングで8〜32バイトのコードに写す。1台のマシンで10億規模の埋め込み検索ができる。古典的な手法は直積量子化(Jégouら、2011年)。
考え方は、ベクトルを8〜16個の部分ベクトルに分け、各次元ごとにk-meansで(256個の重心に)クラスタリングし、部分ベクトルごとに0〜255の番号だけを保存するというもの。距離計算はルックアップテーブル参照になり高速化する。転置ファイルインデックス(IVF)を重ねると、候補の数に上限をかけられる。FAISS、ScaNN、Milvus、Qdrantがそれぞれ別の変種を実装している。トレードオフは、メモリを約100分の1に圧縮する代わりに、再現率が100%からパラメータ次第で90〜98%に下がることだ。競合のHNSWはメモリを多く使うが再現率が高い。