StreamingLLM
Metod som låter en modell generera text i oändlighet med konstant minnesanvändning, genom att behålla de fyra första tokenen plus ett glidande fönster av de senaste.
Utgångspunkten är upptäckten att ett rent glidande fönster förstör modellen så snart de inledande tokenen faller ut ur cachen. Lösningen är minimal: spara dem permanent som ankare och låt resten av fönstret rulla. Positionerna räknas dessutom efter var token ligger i cachen, inte efter var den låg i originaltexten, vilket håller avstånden inom det intervall modellen tränats på. Den viktiga begränsningen brukar missförstås — metoden utökar inte kontextlängden. Allt som rullat ut ur fönstret är borta och modellen kan inte referera till det. Det den ger är en modell som kan köra en dialog i dagar utan att varken minnet växer eller kvaliteten rasar.