LLM multimodal
Un LLM qui reçoit (et parfois génère) davantage que du texte — images, audio, vidéo. Devenu la norme dans les modèles de pointe depuis 2024.
Deux architectures typiques : (1) early fusion — chaque modalité devient des tokens mélangés dans le même transformer (GPT-4o, Gemini), (2) late fusion — un encodeur visuel séparé (à la CLIP) produit des embeddings projetés dans l'espace d'entrée du LLM (LLaVA, IDEFICS, Claude). Usages : lire des captures d'écran, faire de la revue de code à partir de maquettes, résumer des vidéos, « décrire cette image pour l'accessibilité ». La fusion audio permet des assistants vocaux sans étape distincte de reconnaissance vocale.