State-space-model
Klasse sequentiemodellen uit de klassieke regeltechniek die een reeks samenpersen in een latente toestandsvector die stap voor stap wordt bijgewerkt — lineaire complexiteit in de lengte van de reeks.
Algemene vorm: h_t = A·h_{t-1} + B·x_t, y_t = C·h_t + D·x_t. De opleving van SSM's in deep learning begon met S4 (Gu et al. 2021), dat liet zien dat met de juiste parametrisering van A de kwaliteit van transformers op Long Range Arena wordt gehaald.
Mamba (2023) voegde invoerafhankelijke selectiviteit toe en werd daarmee praktisch schaalbaar. RWKV, Hyena en GLA zijn verwante families. Hybriden (Jamba, Zamba) combineren SSM- en attention-blokken en lijken te winnen bij lange context met goede kwaliteit.