Matryoshka embedding
En önemli bilginin ilk boyutlarda yoğunlaşması için eğitilmiş (Matryoshka Representation Learning) embedding’ler; vektörü kısaltıp (örneğin 1536 boyuttan 256’sını tutarak) kalitenin büyük kısmını korumanızı sağlar. Rus matruşka bebekleri gibi: her önek tam, ama daha küçük bir embedding’dir.
Sorun: daha büyük embedding’ler (daha çok boyut) daha iyi kalite verir ama depolama, bellek ve arama süresi açısından daha pahalıdır; boyutu genellikle önceden seçmeniz gerekir. Matryoshka eğitimi bilgiyi hiyerarşik olarak paketler, böylece vektörün ilk N sayısı tek başına işe yarar bir embedding olur. Kullanım anında yeniden hesaplamadan istediğiniz uzunluğa kısaltabilirsiniz. Kazanç: tek bir model esnek bir kalite/maliyet dengesi sunar; kısa vektörlerle hızlı kaba arama yapıp ardından tam vektörlerle yeniden sıralayabilirsiniz. OpenAI’ın text-embedding-3 modelleri (dimensions parametresi) ve çeşitli açık kaynak modeller (2024 ve sonrası) kullanır. Embedding drift sorununu kısmen hafifletir (aynı model, ayarlanabilir boyut). Embedding modeli ve embedding drift ile ilişkilidir.