Atenção por janela deslizante
Forma de atenção esparsa em que cada token só enxerga um número fixo dos tokens anteriores mais próximos (uma janela deslizante), em vez de todo o histórico. Popularizada pelo Mistral 7B para lidar com contexto longo de forma eficiente.
Mecânica: em vez de deixar o token N atender a todos os tokens de 1 a N, ele fica limitado aos últimos W (por exemplo, 4096). O truque: quando várias camadas assim são empilhadas, a informação ainda consegue "fluir" mais para trás — um token na camada 2 vê a janela da camada 1, que por sua vez enxergou uma janela anterior, e o alcance efetivo passa a ser W × número de camadas (como os campos receptivos em uma CNN). Ganho: uso de memória constante por token e escala linear, o que viabiliza sequências longas a baixo custo. Trade-off: dependências de longo alcance precisam atravessar várias camadas e podem enfraquecer. O Mistral combinou a técnica com um KV cache de "buffer rotativo". Um exemplo concreto e influente de atenção esparsa. Relacionado a atenção esparsa e KV cache.