対照学習
「似ているもの」を埋め込み空間で近くに、似ていないものを遠くに配置するようモデルを訓練する手法。
代表例はSimCLR、CLIP、MoCo。CLIPは画像と正しいキャプションを近づけ、誤った画像を遠ざける。現代のマルチモーダルモデルやセマンティック検索を支えた。巧みなのは、データ拡張から正例ペアを作るという発想である。
「似ているもの」を埋め込み空間で近くに、似ていないものを遠くに配置するようモデルを訓練する手法。
代表例はSimCLR、CLIP、MoCo。CLIPは画像と正しいキャプションを近づけ、誤った画像を遠ざける。現代のマルチモーダルモデルやセマンティック検索を支えた。巧みなのは、データ拡張から正例ペアを作るという発想である。