Matryoshka-embedding
Embeddings die (via Matryoshka Representation Learning) zo zijn getraind dat de belangrijkste informatie in de eerste dimensies zit, zodat je de vector kunt inkorten (bijvoorbeeld 256 van 1536 dimensies bewaren) en toch het grootste deel van de kwaliteit behoudt. Als een Russische pop: elk voorvoegsel is een complete, kleinere embedding.
Het probleem: grotere embeddings (meer dimensies) geven betere kwaliteit maar kosten meer opslag, geheugen en zoektijd, en de grootte moet meestal vooraf worden gekozen. Matryoshka-training pakt de informatie hiërarchisch in, zodat de eerste N getallen al een bruikbare embedding op zich vormen. Je kunt dus bij gebruik tot elke lengte inkorten zonder opnieuw te berekenen. Voordeel: één model biedt een flexibele afweging tussen kwaliteit en kosten; je kunt snel grof zoeken met korte vectoren en daarna herrangschikken met de volledige. Gebruikt door text-embedding-3 van OpenAI (parameter dimensions) en verschillende opensourcemodellen (2024 en later). Het verzacht deels de pijn van embedding drift.