マルチモーダル LLM
テキストだけでなく、画像・音声・動画も取り込み（場合によっては生成もする）LLM。2024年以降、フロンティアモデルでは標準になった。
典型的な構成は二つある。(1) 早期融合：あらゆるモダリティをトークンにして、同じ Transformer に混ぜ込む（GPT-4o、Gemini）。(2) 後期融合：別個のビジョンエンコーダ（CLIP 系）が埋め込みを作り、LLM の入力空間に射影する（LLaVA、IDEFICS、Claude）。用途はスクリーンショットの読み取り、デザインのコードレビュー、動画の要約、「アクセシビリティ向けに説明して」など。音声の融合により、別個の音声認識を挟まない音声アシスタントが可能になる。