Модель пространства состояний
Класс моделей последовательностей из классической теории управления: последовательность сжимается в скрытый вектор состояния, который обновляется шаг за шагом, — сложность линейна по длине.
Общий вид: h_t = A·h_{t-1} + B·x_t, y_t = C·h_t + D·x_t. Возрождение SSM в глубоком обучении началось с S4 (Gu и др., 2021): правильная параметризация матрицы A позволила сравняться с трансформерами на Long Range Arena.
Mamba (2023) добавила зависимость от входа (селективность) и стала практичной для масштабирования. Родственные семейства — RWKV, Hyena и GLA. Гибриды (Jamba, Zamba) смешивают блоки SSM и внимания и, похоже, выигрывают на длинном контексте при хорошем качестве.