Attention
Kärnmekanismen i transformer-modeller — varje token kollar på alla andra och bestämmer hur viktiga de är för sammanhanget.
När modellen genererar nästa ord ber den varje tidigare token bidra med information, viktat efter relevans. "Banken" i "jag satt vid banken och fiskade" får mer attention från "fiskade" än från "satt".
Papperet "Attention Is All You Need" (2017) startade hela LLM-eran.