StreamingLLM
Een methode waarmee een model onbeperkt kan blijven genereren met constant geheugengebruik, door de eerste vier tokens plus een glijdend venster van de meest recente te bewaren.
Het uitgangspunt is de ontdekking dat een gewoon glijdend venster het model kapotmaakt zodra de openingstokens uit de cache vallen. De oplossing is minimaal: houd ze permanent als ankers vast en laat de rest van het venster doorrollen. Bovendien worden posities toegekend op basis van waar een token in de cache staat in plaats van waar het in de oorspronkelijke tekst stond, waardoor afstanden binnen het bereik blijven waarop het model is getraind. De belangrijke beperking wordt vaak verkeerd begrepen — de methode vergroot de contextlengte niet. Wat uit het venster is gerold, is weg en het model kan er niet meer naar verwijzen. Wat je krijgt is een model dat dagenlang een gesprek kan voeren zonder groeiend geheugen of kwaliteitsinstorting.