Multimodales LLM
Ein LLM, das mehr als nur Text verarbeitet (und mitunter auch erzeugt) — Bilder, Audio, Video. Seit 2024 Standard bei Frontier-Modellen.
Typische Architekturen: (1) Early Fusion — alle Modalitäten werden zu Tokens, die im selben Transformer gemischt werden (GPT-4o, Gemini), (2) Late Fusion — ein separater Vision-Encoder (CLIP-artig) erzeugt Embeddings, die in den Eingaberaum des LLM projiziert werden (LLaVA, IDEFICS, Claude). Anwendungen: Screenshots lesen, Design-Reviews im Code, Video-Zusammenfassungen, „beschreibe das für Barrierefreiheit". Audio-Fusion ermöglicht Sprachassistenten ohne separaten Speech-to-Text-Schritt.