Attenzione
Il meccanismo centrale dei modelli transformer: ogni token guarda tutti gli altri e decide quanto siano rilevanti per il contesto.
Quando il modello genera la parola successiva, chiede a ogni token precedente di fornire informazioni, pesate per rilevanza. In «Mi sono seduto in banca a pescare», «banca» riceve più attenzione da «pescare» che da «seduto».
L'articolo «Attention Is All You Need» (2017) ha dato il via all'intera era degli LLM.