Arquitetura Transformer
Arquitetura neural que substituiu RNNs e CNNs na modelagem de sequências. Vaswani et al., "Attention Is All You Need", Google, 2017.
Construída sobre self-attention. Duas variantes: encoder-only (BERT — compreensão), decoder-only (GPT — geração), encoder-decoder (T5, BART — tradução). A escala até centenas de bilhões de parâmetros deu origem à revolução dos LLMs. Evoluções modernas: Mixture of Experts, Mamba (alternativa em state space), DiT (Diffusion Transformer para imagem/vídeo). O artigo é um dos mais citados da história da ciência da computação.