活性化関数
ニューラルネットワークの各ニューロンが入力を通す関数で、ネットワークに非線形性を与えるもの。
活性化関数がなければ、層をいくら重ねても全体はただの行列積にすぎない。現在もっとも一般的なのはReLU（max(0,x)）で、以前はシグモイドやtanhがよく使われていた。
ニューラルネットワークの各ニューロンが入力を通す関数で、ネットワークに非線形性を与えるもの。
活性化関数がなければ、層をいくら重ねても全体はただの行列積にすぎない。現在もっとも一般的なのはReLU（max(0,x)）で、以前はシグモイドやtanhがよく使われていた。