StreamingLLM
Eine Methode, die ein Modell unbegrenzt lange mit konstantem Speicherbedarf generieren lässt, indem sie die ersten vier Tokens plus ein gleitendes Fenster der jüngsten Tokens behält.
Ausgangspunkt ist die Entdeckung, dass ein simples gleitendes Fenster das Modell zerstört, sobald die einleitenden Tokens aus dem Cache fallen. Die Lösung ist minimal: Man behält sie dauerhaft als Anker und lässt nur den Rest des Fensters weiterrollen. Die Positionen werden zudem danach gezählt, wo ein Token im Cache liegt, nicht wo es im Originaltext lag, was die Abstände innerhalb des Bereichs hält, auf den das Modell trainiert wurde. Die wichtige Einschränkung wird oft missverstanden — die Methode erweitert die Kontextlänge nicht. Alles, was aus dem Fenster herausgerollt ist, ist weg, und das Modell kann nicht mehr darauf zurückgreifen. Was sie liefert, ist ein Modell, das tagelang ein Gespräch führen kann, ohne dass der Speicher wächst oder die Qualität einbricht.