状態空間モデル
古典的な制御理論に由来する系列モデルの一種。系列を潜在状態ベクトルに圧縮して1ステップずつ更新するため、計算量は系列長に対して線形になる。
一般形はh_t = A·h_{t-1} + B·x_t、y_t = C·h_t + D·x_t。深層学習でSSMが復活したきっかけはS4（Gu et al. 2021）で、Aを適切にパラメータ化すれば、Long Range ArenaでTransformerと同等の品質が出ることを示した。
2023年のMambaは入力依存の選択性を加え、スケールさせられる実用性を得た。RWKV、Hyena、GLAも近い系統。SSMとアテンションのブロックを混ぜたハイブリッド（Jamba、Zamba）は、長いコンテキストで品質も保てるとして有力視されている。