YaRN スケーリング
Yet another RoPE extensioN――RoPEモデルのコンテキスト長を延ばす2023年の改良手法で、周波数帯ごとに異なる倍率をかける。単純な位置補間より、少ない再学習で長文脈の品質を保てる。
素朴な位置補間はRoPEのすべての周波数を一様に圧縮するため、細かな位置情報を担う高周波成分が乱れてしまう。YaRNは「NTK-aware」な方式で、高周波帯はほぼそのまま残して局所的な精度を守り、長距離のために引き延ばしが必要な低周波帯だけを補間する。さらにアテンションの温度も調整する。その結果、わずかなファインチューニングで、学習時の何倍ものコンテキスト長へ、従来手法より小さな品質低下で拡張できる。複数のオープンソースモデルが64k〜128k超の文脈長に達するために採用している。単純なRoPEスケーリングの発展形にあたる。