RetNet
Arquitetura da Microsoft Research, de 2023, que troca a atenção pela retenção, um mecanismo que pode ser calculado de três maneiras diferentes conforme se esteja treinando ou servindo o modelo.
O artigo enquadra a área naquilo que chama de triângulo impossível: treinamento paralelo, inferência barata e alta qualidade — escolha dois. Os Transformers erram os dois primeiros, porque o custo por token gerado cresce com o contexto. A retenção é definida de modo que a mesma função tenha uma forma paralela para o treino, uma forma recorrente em que cada novo token apenas atualiza um estado de tamanho fixo, e uma forma chunkwise intermediária para sequências longas. O subtítulo "um sucessor do Transformer" não sobreviveu inteiramente ao contato com a realidade — nenhuma adoção ampla se seguiu —, mas o trabalho pertence à onda de alternativas lineares que ainda move a pesquisa.