Transformer
2017年に登場したニューラルネットワークのアーキテクチャで、現代のあらゆるLLMの土台。アテンション機構を核とする。
Transformer以前、系列データの標準は再帰型ネットワーク（RNN/LSTM）だった。Transformerはトークンを1つずつ処理する代わりに系列全体を一度に処理する。これにより、はるかに大きなモデルと高速な学習が可能になった。
元になった論文は「Attention Is All You Need」（Vaswaniら、2017年）。GPT、Claude、Gemini、Llamaなど、その後のモデルはすべてこの変奏にすぎない。