トランスフォーマー
系列モデリングにおいてRNNやCNNに取って代わったニューラルネットワークの構造。2017年、GoogleのVaswaniらの論文「Attention Is All You Need」で提案された。
中核はセルフアテンションである。型は3つあり、エンコーダのみ(BERT、理解向け)、デコーダのみ(GPT、生成向け)、エンコーダ・デコーダ(T5、BART、翻訳向け)に分かれる。数千億パラメータへのスケールアップがLLM革命を生んだ。近年の発展形にはMixture of Experts、状態空間モデルのMamba、画像・動画向けのDiT(Diffusion Transformer)などがある。この論文は、コンピュータサイエンス史上でも屈指の被引用数を誇る。