Attention sink
Transformermodeller lägger en oproportionerligt stor del av sin uppmärksamhet på de allra första tokenen i sekvensen, oavsett vad de betyder.
Fenomenet beskrevs 2023 och har en enkel förklaring: softmax tvingar uppmärksamhetsvikterna att summera till ett, så även när ingen position är relevant måste massan hamna någonstans. Modellen lär sig under träningen att dumpa överskottet på de inledande tokenen, som alla sekvenser har och som därför alltid är tillgängliga. Konsekvensen är praktisk och överraskande: kastar man ut de första tokenen ur KV-cachen för att spara minne — vilket är precis vad ett glidande fönster gör — kollapsar modellens utdata till struntprat, trots att tokenen i fråga oftast bara var en radbrytning eller en systemprompt. Att behålla en handfull av dem löser problemet helt.