RWKV
"Receptance Weighted Key Value": architettura che si addestra in parallelo come un transformer ma in inferenza funziona come una RNN, con memoria costante indipendentemente dalla lunghezza della sequenza.
Portata avanti da Bo Peng e da una grande community dal 2021. Il token mixing avviene tramite un meccanismo di decadimento lineare al posto dell'attenzione completa. Le versioni v5/v6 ("Eagle"/"Finch") si avvicinano alla qualità dei transformer in vari benchmark con un costo di inferenza nettamente inferiore sui contesti lunghi.
Filosoficamente simile a Mamba (la famiglia degli SSM): entrambi attaccano il costo quadratico del transformer. RWKV resta un outsider, ma è guidato da ricerca aperta, senza grandi laboratori.