Transformer
Neural-nät-arkitektur från 2017 som driver alla moderna LLM:er. Bygger på attention-mekanismen.
Innan transformers var rekurrenta nätverk (RNN/LSTM) standard för sekvenser. Transformers ersatte dem genom att processa hela sekvensen samtidigt istället för en token i taget — vilket möjliggjorde mycket större modeller och snabbare träning.
"Attention Is All You Need" (Vaswani et al., 2017) är pappret. Allt sedan dess — GPT, Claude, Gemini, Llama — är variationer på det temat.