Функция активации
Функция, через которую каждый нейрон нейросети пропускает свои входные данные, — именно она придаёт сети нелинейность.
Без функции активации вся сеть сводилась бы к умножению матриц — сколько бы в ней ни было слоёв. Сегодня чаще всего используют ReLU (max(0,x)); сигмоида и tanh были популярнее раньше.