Mamba
Dikkat (attention) yerine seçici durum uzayı modellerine dayanan, maliyeti dizi uzunluğuyla doğrusal artan bir dizi modeli. Aralık 2023’te Albert Gu ve Tri Dao yayımladı.
Durum uzayı modelleri yıllardır vardı, ancak dilde transformer’ların gerisinde kalıyordu: dinamikleri girdiden bağımsız olduğu için neyi hatırlayacaklarını seçemiyorlardı. Mamba parametreleri girdinin işlevi haline getirir; model bir dolgu belirtecini unutup bir ismi tutmaya karar verebilir. Bedeli, kullanışlı evrişimli biçimin kaybolmasıdır; bu, durumu SRAM’de tutan donanım farkındalıklı bir paralel taramayla çözülür. Kazanç, sınırsız büyüyen bir KV önbelleği yerine belirteç başına sabit bellekle çıkarımdır. Mamba-2 bir yıl sonra çerçeveyi yeniden dikkatle ilişkilendirdi; Jamba gibi hibritler ise iki tür katmanı iç içe dizer.