RNN (Recurrent Neural Network)
Neuraal netwerk voor reeksen — heeft een ”verborgen toestand” die van stap tot stap wordt doorgegeven, zodat eerdere invoer latere stappen beïnvloedt.
Gewone RNN's lijden bij lange reeksen aan verdwijnende of exploderende gradiënten. LSTM (Hochreiter & Schmidhuber, 1997) en GRU (2014) voerden ”poorten” in die dit probleem temden — en domineerden NLP tot de transformer in 2017 verscheen.
Rond 2025 vrijwel overal vervangen door transformers voor tekst en door SSM's (Mamba, RWKV) voor lange reeksen. RNN's blijven in gebruik bij streamingtoepassingen (spraakherkenning, gebarenherkenning) waar constante rekentijd per token een harde eis is.