マトリョーシカ埋め込み
最も重要な情報が先頭の次元に集中するように訓練された埋め込み(Matryoshka Representation Learning)。ベクトルを切り詰めて(たとえば1536次元のうち256次元だけ残して)も、品質の大半を保てる。ロシアの入れ子人形のように、どの先頭部分も完結した、より小さな埋め込みになっている。
問題は、埋め込みが大きい(次元が多い)ほど品質は上がるが、ストレージ、メモリ、検索時間のコストも増えることだ。通常はサイズを事前に決めなければならない。マトリョーシカ方式の訓練は情報を階層的に詰め込むので、ベクトルの先頭N個の数値だけでもそのまま使える埋め込みになる。つまり利用時に好きな長さへ切り詰められ、再計算もいらない。利点は、1つのモデルで品質とコストのトレードオフを柔軟に選べること。短いベクトルで高速に粗い検索をしてから、完全なベクトルで再ランキングする使い方もできる。OpenAIのtext-embedding-3(dimensionsパラメータ)や、いくつかのオープンソースモデルが採用している(2024年以降)。同じモデルでサイズを調整できるので、埋め込みドリフトの悩みも部分的に和らぐ。