Apprentissage contrastif
Entraîner un modèle à rapprocher les choses « similaires » dans l'espace d'embeddings et à éloigner les choses dissemblables.
SimCLR, CLIP, MoCo. CLIP rapproche la légende et la bonne image, et éloigne la mauvaise. C'est ce qui a porté les modèles multimodaux modernes et la recherche sémantique. L'astuce géniale : fabriquer les paires positives à partir d'augmentations de données.