Mamba

Tillståndsrymdsmodeller har funnits länge men varit sämre än transformers på språk, eftersom deras dynamik är densamma oavsett vad som matas in och de därför inte kan välja vad som ska minnas. Mamba gör parametrarna beroende av indata — modellen kan alltså bestämma sig för att glömma en utfyllnadstoken och behålla ett namn. Priset är att den bekväma konvolutionsformen försvinner, vilket löses med en hårdvaruanpassad parallell scan som håller tillståndet i SRAM. Resultatet är inferens i konstant minne per token istället för en KV-cache som växer. Mamba-2 kopplade året efter ihop ramverket med attention, och hybridmodeller som Jamba blandar lagren.