RetNet
Architektura z Microsoft Research z 2023 roku, która zamienia uwagę na retencję — mechanizm obliczalny na trzy sposoby, zależnie od tego, czy model się trenuje, czy serwuje.
Autorzy ujmują dziedzinę przez „niemożliwy trójkąt”: trening równoległy, tania inferencja i wysoka jakość — wybierz dwa. Transformery nie spełniają drugiego warunku, bo koszt na wygenerowany token rośnie wraz z kontekstem. Retencję zdefiniowano tak, że ta sama funkcja ma postać równoległą do treningu, postać rekurencyjną, w której każdy nowy token tylko aktualizuje stan o stałym rozmiarze, oraz postać chunkwise pośrednią dla długich sekwencji. Podtytuł „a successor to Transformer” nie do końca przetrwał zderzenie z rzeczywistością — szerokiego wdrożenia nie było — ale praca należy do fali liniowych alternatyw, które wciąż napędzają badania.