RNN(再帰型ニューラルネットワーク)
系列データのためのニューラルネットワーク。時間ステップをまたいで「隠れ状態」を受け渡し、過去の入力が後のステップに影響するようにしている。
素朴なRNNは、長い系列で勾配消失・勾配爆発に悩まされる。この問題に「ゲート」で対処したのがLSTM(Hochreiter&Schmidhuber、1997年)とGRU(2014年)で、2017年にTransformerが現れるまで自然言語処理を牽引した。
2025年時点では、テキストはほぼTransformerに、長い系列はSSM(Mamba、RWKV)に置き換わった。RNNが残るのは、トークンあたり一定時間であることが絶対条件のストリーミング用途(音声認識、ジェスチャー認識)である。