StreamingLLM

出発点は、単純なスライディングウィンドウでは、冒頭のトークンがキャッシュから外れた途端にモデルが壊れるという発見である。対策は最小限で、それらを恒久的なアンカーとして残し、残りのウィンドウだけを回す。さらに位置は、元の文章中の位置ではなくキャッシュ内の位置で割り当てるため、距離が学習時の範囲に収まる。重要な制約はよく誤解される。この手法はコンテキスト長を延ばすものではない。ウィンドウから流れ出たものは失われ、モデルは遡って参照できない。得られるのは、メモリが増えず品質も崩れないまま、何日でも会話を続けられるモデルである。