StreamingLLM
Método que permite a um modelo gerar texto indefinidamente com memória constante, mantendo os quatro primeiros tokens mais uma janela deslizante dos mais recentes.
O ponto de partida é a descoberta de que uma janela deslizante simples destrói o modelo assim que os tokens iniciais saem do cache. A correção é mínima: mantê-los para sempre como âncoras e deixar o resto da janela rolar. Além disso, as posições são atribuídas pelo lugar do token no cache, e não pelo lugar que ele ocupava no texto original, o que mantém as distâncias dentro do intervalo em que o modelo foi treinado. A limitação importante costuma ser mal interpretada — o método não amplia o tamanho do contexto. O que saiu da janela se perdeu, e o modelo não consegue mais se referir a isso. O que ele oferece é um modelo capaz de manter uma conversa por dias sem crescimento de memória nem colapso de qualidade.