RWKV
„Receptance Weighted Key Value” — architektura, która trenuje się równolegle jak transformer, ale podczas wnioskowania działa jak RNN, ze stałym zużyciem pamięci niezależnie od długości sekwencji.
Rozwijana od 2021 roku przez Bo Penga i liczną społeczność. Mieszanie tokenów odbywa się przez liniowy mechanizm zaniku zamiast pełnej uwagi. Wersje v5/v6 („Eagle”/„Finch”) w kilku testach zbliżają się jakością do transformerów, przy znacznie niższym koszcie wnioskowania dla długich kontekstów.
Filozoficznie podobna do Mamby (rodzina SSM) — obie atakują kwadratowy koszt transformera. RWKV pozostaje raczej outsiderem, ale napędza ją otwarte badanie, bez wielkich laboratoriów.