Transformer
Architektura sieci neuronowych z 2017 roku, na której opiera się każdy współczesny LLM. Zbudowana na mechanizmie uwagi.
Przed transformerami standardem dla sekwencji były sieci rekurencyjne (RNN/LSTM). Transformery je wyparły, przetwarzając całą sekwencję naraz zamiast token po tokenie — co pozwoliło na znacznie większe modele i szybsze uczenie.
„Attention Is All You Need” (Vaswani i in., 2017) to ten artykuł. Wszystko, co powstało potem — GPT, Claude, Gemini, Llama — jest wariacją na ten temat.