SwiGLU
Activatie voor de feed-forward-laag van de transformer: Swish(xW) ⊙ (xV) — vermenigvuldigt twee lineaire projecties in plaats van één niet-lineariteit toe te passen.
Shazeer, 2020 (‘GLU Variants Improve Transformer’). Drie matrices in plaats van twee in het FFN-blok (W, V, uitvoer), dus +50 % FFN-parameters — maar de bijbehorende kwaliteitswinst zorgt dat modellen met dezelfde totale rekenkracht beter uitkomen. Berucht omdat het zonder theoretische motivatie is bedacht: ‘we schrijven het succes toe aan goddelijke welwillendheid’.
Standaard in Llama (vanaf v1), Mistral, Qwen, Gemma, DeepSeek en PaLM. Samen met RMSNorm en RoPE vormt het het ‘moderne transformer-recept’.