Matroschka-Embedding
Embeddings, die per Matryoshka Representation Learning so trainiert werden, dass sich die wichtigste Information in den ersten Dimensionen konzentriert — wodurch sich der Vektor kürzen lässt (z. B. 256 von 1536 Dimensionen behalten) und trotzdem der Großteil der Qualität erhalten bleibt. Wie eine russische Puppe: Jedes Präfix ist ein vollständiges, kleineres Embedding.
Problem: Größere Embeddings (mehr Dimensionen) liefern bessere Qualität, kosten aber mehr Speicherplatz, Arbeitsspeicher und Suchzeit. Normalerweise muss man die Größe im Voraus festlegen. Matroschka-Training packt die Information hierarchisch, sodass die ersten N Zahlen im Vektor bereits für sich genommen ein brauchbares Embedding sind → man kann bei der Nutzung auf beliebige Länge kürzen, ohne neu zu berechnen. Gewinn: Ein einziges Modell liefert eine flexible Abwägung zwischen Qualität und Kosten; man kann eine schnelle Grobsuche mit kurzen Vektoren machen und danach mit vollen Vektoren nachsortieren. Genutzt von OpenAIs text-embedding-3 (dem dimensions-Parameter) und mehreren Open-Source-Modellen (2024+). Lindert teilweise das Embedding-Drift-Problem, da dasselbe Modell eine anpassbare Größe liefert. Verwandt mit Embedding-Modell und Embedding-Drift.