Çok modlu LLM
Yalnızca metni değil, görüntü, ses ve videoyu da alan (ve belki üreten) bir LLM. 2024'ten itibaren öncü modellerde standart.
Tipik mimariler: (1) erken birleştirme — her mod aynı dönüştürücüde karıştırılan token'lara dönüştürülür (GPT-4o, Gemini), (2) geç birleştirme — ayrı bir görüntü kodlayıcı (CLIP tarzı), LLM'in girdi uzayına izdüşürülen gömmeler üretir (LLaVA, IDEFICS, Claude). Kullanım alanları: ekran görüntülerini okumak, tasarımları kod incelemesinden geçirmek, video özetleme, “bunu erişilebilirlik için tarif et”. Ses birleştirmesi, ayrı bir konuşmadan metne adımı olmadan sesli asistanlara imkân verir.