Dérive des embeddings
Le problème des embeddings issus de modèles (ou de versions de modèles) différents, qui ne sont pas comparables entre eux — si bien que lorsqu'on change ou met à jour le modèle d'embedding, toute la base de données vectorielle doit être recalculée. Un casse-tête de maintenance notoire dans les RAG en production.
Le mécanisme : une recherche vectorielle ne fonctionne que si la requête et les documents vivent dans le même espace d'embedding. Des modèles différents (ou une nouvelle version du même) placent le texte à des coordonnées entièrement différentes → une requête encodée avec le modèle B ne se compare pas de façon significative à des documents encodés avec le modèle A. Conséquence : pour passer à un meilleur modèle d'embedding, il faut ré-encoder et réindexer TOUT, ce qui est coûteux et long sur de grands corpus. Le terme désigne aussi le glissement du contenu ou de la distribution des données au fil du temps, qui rend les anciens embeddings moins représentatifs. Parades : embeddings matriochka et gestion des versions, plus une réindexation planifiée d'avance. Une réalité pratique à laquelle tout système RAG en exploitation finit par se heurter.