Escalonamento YaRN
Yet another RoPE extensioN — método refinado (2023) para ampliar o comprimento de contexto de modelos com RoPE, que escala cada banda de frequência de um jeito, em vez de uniformemente. Dá mais qualidade em contexto longo com menos retreinamento do que a simples interpolação de posições.
A melhoria: a interpolação ingênua de posições comprime todas as frequências do RoPE por igual, o que perturba as dimensões de alta frequência, que carregam a informação fina de posição. O YaRN é "NTK-aware": deixa as bandas de alta frequência relativamente intactas (preservando a precisão local), mas interpola as de baixa frequência (que precisam ser esticadas para longas distâncias), além de ajustar a temperatura da atenção. Resultado: um modelo pode ser estendido para muitas vezes o contexto de treinamento com só um pouco de fine-tuning e menos perda de qualidade que nos métodos anteriores. Usado por vários modelos de código aberto para chegar a 64k–128k+ de contexto. O sucessor mais avançado do simples escalonamento de RoPE. Relacionado a escalonamento de RoPE e extensão do comprimento de contexto.