Attention sink
Les modèles transformer déversent une part disproportionnée de leur attention sur les tout premiers tokens de la séquence, quel que soit leur sens.
Le phénomène a été décrit en 2023 et s'explique simplement : softmax force les poids d'attention à sommer à un, donc même quand aucune position n'est pertinente, la masse doit bien aller quelque part. Pendant l'entraînement, le modèle apprend à déverser le surplus sur les tokens d'ouverture, présents dans toutes les séquences et donc toujours disponibles. La conséquence est concrète et surprenante : évincer ces premiers tokens du cache KV pour économiser de la mémoire — exactement ce que fait une fenêtre glissante — et la sortie du modèle s'effondre en charabia, alors que ces tokens n'étaient souvent qu'un saut de ligne ou un prompt système. En conserver une poignée règle complètement le problème.