LLM multimodal
Um LLM que recebe (e às vezes gera) mais do que texto — imagens, áudio, vídeo. Padrão nos modelos de ponta desde 2024.
Arquiteturas típicas: (1) fusão precoce — cada modalidade vira tokens misturados no mesmo transformer (GPT-4o, Gemini); (2) fusão tardia — um codificador de visão separado (estilo CLIP) gera embeddings projetados no espaço de entrada do LLM (LLaVA, IDEFICS, Claude). Usos: ler capturas de tela, revisar designs, resumir vídeos, "descreva isto para acessibilidade". A fusão de áudio permite assistentes de voz sem uma etapa separada de fala para texto.