Attention
Der Kernmechanismus in Transformer-Modellen — jedes Token betrachtet alle anderen und gewichtet, wie wichtig sie für den Kontext sind.
Wenn das Modell das nächste Wort erzeugt, lässt es jedes vorherige Token Informationen beisteuern, gewichtet nach Relevanz. „Bank“ in „ich saß an der Bank und habe geangelt“ bekommt von „geangelt“ mehr Attention als von „saß“.
Das Paper "Attention Is All You Need" (2017) leitete die gesamte LLM-Ära ein.