Modelo de espaço de estados
Classe de modelos de sequência vinda da teoria de controle clássica, que comprimem a sequência num vetor de estado latente atualizado passo a passo — complexidade linear no tamanho da sequência.
Forma geral: h_t = A·h_{t-1} + B·x_t, y_t = C·h_t + D·x_t. O renascimento dos SSMs em deep learning começou com o S4 (Gu et al., 2021), que mostrou que a parametrização certa de A iguala a qualidade de um transformer no Long Range Arena.
O Mamba (2023) adicionou seletividade dependente da entrada e se tornou viável de escalar. RWKV, Hyena e GLA são famílias parentes. Híbridos (Jamba, Zamba) misturam blocos SSM e de atenção e parecem vencer em contexto longo com boa qualidade.