Uczenie kontrastowe
Trenowanie modelu tak, by „podobne” rzeczy leżały blisko siebie w przestrzeni embeddingów, a niepodobne daleko.
SimCLR, CLIP, MoCo. CLIP przybliża opis tekstowy do właściwego obrazu i oddala od błędnego. Napędziło współczesne modele multimodalne i wyszukiwanie semantyczne. Sprytny trik: pary pozytywne tworzy się z augmentacji tego samego przykładu.