Escalonamento de RoPE
Técnicas para estender o comprimento de contexto de modelos que usam RoPE (Rotary Position Embedding) reescalando as frequências da codificação de posição. Permite que um modelo treinado com, digamos, 4k tokens lide com sequências bem maiores, muitas vezes com um pequeno fine-tuning extra.
Contexto: o RoPE codifica a posição dos tokens "girando" os vetores de query/key por ângulos que dependem da posição — elegante porque captura distâncias relativas, e é padrão no Llama, Mistral e outros. Problema: o modelo generaliza mal para posições maiores do que as vistas no treino. O escalonamento de RoPE resolve isso modificando as frequências de rotação: a "interpolação de posição" (comprimir as posições para dentro da faixa treinada) ou a troca do base theta. Assim, um modelo de 4k pode ser esticado para 32k+ com pouquíssimo retreino. Vantagem: extensão de contexto barata, sem treinar do zero de novo. O YaRN é uma variante mais sofisticada da mesma ideia. Técnica central por trás das janelas de contexto longas de hoje. Relacionado a YaRN scaling e extensão de comprimento de contexto.