Матрёшечные эмбеддинги
Эмбеддинги, обученные методом Matryoshka Representation Learning так, что самая важная информация сосредоточена в первых размерностях, — вектор можно усечь (скажем, оставить 256 из 1536 измерений) и сохранить основную часть качества. Как матрёшка: каждый префикс — полноценный, но меньший эмбеддинг.
Проблема: эмбеддинги больших размерностей точнее, но дороже по хранению, памяти и времени поиска. Обычно размер приходится выбирать заранее. Обучение по методу «матрёшки» упаковывает информацию иерархически, так что первые N чисел вектора уже сами по себе пригодны как эмбеддинг, — при использовании можно обрезать вектор до любой длины без пересчёта. Выгода: одна модель даёт гибкий компромисс между качеством и стоимостью; можно сделать быстрый грубый поиск короткими векторами, а затем переранжировать полными. Применяется в text-embedding-3 от OpenAI (параметр dimensions) и ряде открытых моделей (с 2024 года). Отчасти смягчает боль от дрейфа эмбеддингов (та же модель, настраиваемый размер).