SwiGLU
Aktiveringsfunktion för transformerns feed-forward-lager: Swish(xW) ⊙ (xV) — multiplicerar två linjära projektioner istället för att applicera en enda non-linearity.
Shazeer 2020 ("GLU Variants Improve Transformer"). Tre matriser istället för två i FFN-blocket (W, V, output), så +50 % parameters i FFN — men matchande kvalitetsvinst gör att modeller med samma totala kompute kommer ut bättre. Berömd för att vara konstruerad utan teoretisk motivation: "we owe its success to divine benevolence".
Default i Llama (sedan v1), Mistral, Qwen, Gemma, DeepSeek, PaLM. Tillsammans med RMSNorm och RoPE bildar det "modern transformer-receptet".