RetNet
Microsoft Research'ün 2023'te sunduğu, dikkat (attention) yerine retention koyan mimari; eğitim ya da sunum yaptığınıza göre üç farklı biçimde hesaplanabilen bir mekanizma.
Makale alanı "imkânsız üçgen" dediği şey etrafında kuruyor: paralel eğitim, ucuz çıkarım ve güçlü kalite — ikisini seçin. Transformer'lar ilk ikisini tutturamaz, çünkü üretilen token başına maliyet bağlamla birlikte artar. Retention, aynı fonksiyonun eğitim için paralel bir biçimi, her yeni token'ın yalnızca sabit boyutlu bir durumu güncellediği yinelemeli bir biçimi ve uzun diziler için ikisinin arasındaki chunkwise biçimi olacak şekilde tanımlanır. "Transformer'ın halefi" alt başlığı gerçekle karşılaşınca pek ayakta kalmadı — geniş bir dağıtım olmadı — ama çalışma, araştırmayı hâlâ yönlendiren doğrusal alternatifler dalgasına ait.