SwiGLU
Aktywacja w warstwie feed-forward transformera: Swish(xW) ⊙ (xV) — mnoży dwie projekcje liniowe zamiast stosować pojedynczą nieliniowość.
Shazeer, 2020 („GLU Variants Improve Transformer”). Trzy macierze zamiast dwóch w bloku FFN (W, V, wyjściowa), czyli +50% parametrów FFN — ale odpowiadający im wzrost jakości sprawia, że modele o tym samym łącznym koszcie obliczeń wychodzą lepsze. Słynie z tego, że powstał bez teoretycznego uzasadnienia: „zawdzięczamy jego sukces boskiej łaskawości”.
Domyślny w Llama (od v1), Mistral, Qwen, Gemma, DeepSeek i PaLM. Razem z RMSNorm i RoPE tworzy „nowoczesny przepis na transformer”.