Мультимодальная LLM
LLM, которая принимает (а иногда и создаёт) не только текст, но и изображения, звук, видео. Стандарт для передовых моделей с 2024 года.
Типичные архитектуры: (1) раннее слияние — каждая модальность превращается в токены, смешанные в одном трансформере (GPT-4o, Gemini); (2) позднее слияние — отдельный визуальный энкодер (в духе CLIP) выдаёт эмбеддинги, проецируемые во входное пространство LLM (LLaVA, IDEFICS, Claude). Применение: чтение скриншотов, ревью дизайна, пересказ видео, «опиши это для доступности». Звуковое слияние позволяет делать голосовых ассистентов без отдельного шага распознавания речи.