SwiGLU
Transformer のフィードフォワード層で使う活性化関数。Swish(xW) ⊙ (xV) のように、単一の非線形関数ではなく二つの線形射影の積を取る。
Shazeer が2020年の論文 "GLU Variants Improve Transformer" で提案した。FFN ブロックの行列が2枚ではなく3枚（W、V、出力）になるため FFN のパラメータは約50%増えるが、それに見合う品質向上があり、総計算量を揃えた比較ではより良いモデルになる。理論的な動機なしに作られたことでも有名で、論文には「この成功は神の慈悲のおかげである」とある。
Llama（初代から）、Mistral、Qwen、Gemma、DeepSeek、PaLM の標準。RMSNorm、RoPE と並んで「現代的 Transformer のレシピ」を構成する。