Attention
Het kernmechanisme van transformer-modellen: elk token kijkt naar alle andere en bepaalt hoe relevant ze voor de context zijn.
Als het model het volgende woord genereert, vraagt het elk eerder token om informatie bij te dragen, gewogen naar relevantie. “Bank” in “ik zat op de bank en visde” krijgt meer aandacht van “visde” dan van “zat”.
Het artikel “Attention Is All You Need” (2017) zette het hele LLM-tijdperk in gang.