Uwaga
Podstawowy mechanizm modeli transformer — każdy token patrzy na wszystkie pozostałe i ocenia, jak bardzo są istotne dla kontekstu.
Gdy model generuje następne słowo, prosi każdy wcześniejszy token o informację, ważoną istotnością. W zdaniu „Siedziałem nad brzegiem i łowiłem” słowo „brzegiem” dostaje więcej uwagi od „łowiłem” niż od „siedziałem”.
Artykuł „Attention Is All You Need” (2017) zapoczątkował całą erę LLM-ów.