Mamba
Modello di sequenze basato su state space model selettivi anziché sull'attenzione, con costo lineare nella lunghezza della sequenza. Pubblicato a dicembre 2023 da Albert Gu e Tri Dao.
Gli state space model esistevano da anni ma sul linguaggio rendevano meno dei transformer, perché la loro dinamica è identica a prescindere dall'input e quindi non possono scegliere cosa ricordare. Mamba rende i parametri funzione dell'input: il modello può decidere di dimenticare un token di riempimento e di tenere un nome. Il prezzo è la scomparsa della comoda forma convoluzionale, risolta con una scansione parallela attenta all'hardware che tiene lo stato nella SRAM. Il vantaggio è un'inferenza a memoria costante per token, invece di una KV cache che cresce senza limite. Mamba-2 ha ricollegato il framework all'attenzione un anno dopo, e ibridi come Jamba alternano i due tipi di strato.