Обучение во время вывода
Модель продолжает обновлять веса прямо во время вывода, опираясь на текущий вход, — и подстраивается под каждый пример. Статья Stanford и CMU, июль 2024.
TTT-Linear и TTT-MLP заменяют внимание небольшой RNN, которая обучается на собственной последовательности. По качеству на задачах моделирования последовательностей конкурируют с Mamba и трансформерами. От обучения в контексте отличается тем, что здесь настоящие градиентные обновления во время вывода, а не просто паттерн активаций. Открытый вопрос: как делать батчи, если у каждого примера свои веса? Область активных исследований.