SwiGLU
Функция активации для feed-forward-слоя трансформера: Swish(xW) ⊙ (xV) — перемножает две линейные проекции вместо одной нелинейности.
Предложена Шазиром в 2020 году («GLU Variants Improve Transformer»). В блоке FFN три матрицы вместо двух (W, V и выходная), то есть на 50 % больше параметров, но выигрыш в качестве окупает это: модели при том же вычислительном бюджете получаются лучше. Известна тем, что придумана без теоретического обоснования: «мы приписываем её успех божественной благосклонности».
Стандарт в Llama (с первой версии), Mistral, Qwen, Gemma, DeepSeek, PaLM. Вместе с RMSNorm и RoPE образует «современный рецепт трансформера».