StreamingLLM
Método que permite a un modelo generar texto indefinidamente con un uso de memoria constante, conservando los cuatro primeros tokens más una ventana deslizante de los más recientes.
El punto de partida es el descubrimiento de que una ventana deslizante pura destroza al modelo en cuanto los tokens iniciales se salen de la caché. La solución es mínima: guardarlos de forma permanente como anclas y dejar que el resto de la ventana ruede. Además, las posiciones se cuentan según el lugar que ocupa el token en la caché, no según su posición en el texto original, lo que mantiene las distancias dentro del rango con el que se entrenó el modelo. La limitación importante suele malinterpretarse — el método no amplía la longitud de contexto. Todo lo que ha salido de la ventana desaparece y el modelo no puede referirse a ello. Lo que sí ofrece es un modelo capaz de mantener una conversación durante días sin que la memoria crezca ni la calidad se desplome.