Sliding-window attention
Una forma de atención dispersa en la que cada token solo puede mirar un número fijo de tokens inmediatamente anteriores (una ventana deslizante), en lugar de todo el historial. Popularizada por Mistral 7B para manejar contexto largo de forma eficiente.
Mecánica: en lugar de dejar que el token N atienda a todos los tokens 1…N, se le limita a los últimos W (por ejemplo, 4096) tokens. El truco: cuando se apilan varias capas así, la información igualmente puede "fluir" más atrás — el token en la capa 2 ve la ventana de la capa 1, que a su vez ya había mirado una ventana hacia atrás, así que el alcance efectivo termina siendo W × número de capas (parecido al campo receptivo de una CNN). La ganancia es un uso de memoria constante por token y un escalado lineal, lo que permite manejar secuencias largas de forma barata. La contrapartida: las dependencias de largo alcance tienen que atravesar varias capas y pueden debilitarse. Mistral lo combinó con una caché KV de "buffer circular". Un ejemplo concreto e influyente de atención dispersa.