Aktivierungsfunktion
Die Funktion, durch die jedes Neuron in einem neuronalen Netz seine Eingaben schickt — das, was dem Netz Nichtlinearität verleiht.
Ohne Aktivierungsfunktion wäre das gesamte Netz nur Matrixmultiplikation, egal wie viele Schichten es hat. ReLU (max(0,x)) ist heute am gebräuchlichsten; Sigmoid und Tanh wurden früher öfter verwendet.