Векторное квантование
Метод сжатия для векторных баз данных. Превращает 1024-мерные векторы с плавающей точкой (около 4 КБ) в коды по 8–32 байта через кластеризацию. Позволяет искать по миллиардам эмбеддингов на одной машине. Классический алгоритм — Product Quantization (Jégou и др., 2011).
Идея: разбить вектор на 8–16 подвекторов, каждое подпространство отдельно кластеризовать k-means (256 центроидов) и хранить для каждого подвектора индекс 0–255. Вычисление расстояний сводится к поиску по таблице — это быстро. Инвертированный индекс (IVF) добавляет сверху кластеризацию, чтобы ограничить число кандидатов. Разные варианты реализуют FAISS, ScaNN, Milvus, Qdrant. Цена: сжатие памяти в 100 раз, полнота (recall) падает со 100 % до 90–98 % в зависимости от параметров. Конкурент — HNSW: больше памяти, выше полнота.