RetNet
Архитектура Microsoft Research 2023 года, которая заменяет attention на retention — механизм, вычисляемый тремя способами в зависимости от того, обучаете вы модель или обслуживаете.
Авторы описывают область через так называемый невозможный треугольник: параллельное обучение, дешёвый инференс и высокое качество — выбери два. Трансформеры плохи в первых двух пунктах, потому что стоимость генерации каждого токена растёт с контекстом. Retention определён так, что одна и та же функция имеет параллельную форму для обучения, рекуррентную, где каждый новый токен лишь обновляет состояние фиксированного размера, и промежуточную chunkwise-форму для длинных последовательностей. Подзаголовок «преемник трансформера» столкновения с реальностью не вполне пережил — широкого внедрения не последовало, — но работа принадлежит к волне линейных альтернатив, которая по-прежнему движет исследования.