Transformer
Architettura di rete neurale del 2017 alla base di ogni LLM moderno. Si fonda sul meccanismo di attention.
Prima dei transformer, le reti ricorrenti (RNN/LSTM) erano lo standard per le sequenze. I transformer le hanno sostituite elaborando l'intera sequenza in una volta, anziché un token alla volta: ciò ha permesso modelli molto più grandi e addestramenti più rapidi.
«Attention Is All You Need» (Vaswani et al., 2017) è l'articolo di riferimento. Tutto ciò che è venuto dopo — GPT, Claude, Gemini, Llama — è una variazione sul tema.