Matryoshka-embedding
Embeddings tränade (Matryoshka Representation Learning) så att den viktigaste informationen koncentreras i de första dimensionerna — vilket gör att man kan korta av vektorn (t.ex. behålla 256 av 1536 dimensioner) och ändå behålla det mesta av kvaliteten. Som en rysk docka: varje prefix är en komplett, mindre embedding.
Problem: större embeddings (fler dimensioner) ger bättre kvalitet men kostar mer lagring, minne och söktid. Vanligtvis måste man välja storlek i förväg. Matryoshka-träning packar informationen hierarkiskt så att de första N talen i vektorn redan är en användbar embedding på egen hand → man kan trunkera till valfri längd vid användning, utan att räkna om. Vinst: en enda modell ger flexibel avvägning kvalitet vs kostnad; man kan göra en snabb grovsökning med korta vektorer och sedan finrangera med fulla. Använt av OpenAI:s text-embedding-3 (dimensions-parametern) och flera open source-modeller (2024+). Mildrar delvis embedding-drift-smärtan (samma modell, justerbar storlek). Hör ihop med embedding-modell och embedding drift.