Funkcja aktywacji
Funkcja, przez którą każdy neuron sieci neuronowej przepuszcza swoje wejścia — to ona nadaje sieci nieliniowość.
Bez funkcji aktywacji cała sieć byłaby zwykłym mnożeniem macierzy, niezależnie od liczby warstw. Dziś najczęściej używa się ReLU (max(0,x)); sigmoid i tanh były popularniejsze wcześniej.