Trenowanie w czasie testu
Model w trakcie inferencji nadal aktualizuje swoje wagi na podstawie bieżącego wejścia — dostosowuje się do każdego przykładu. Praca Stanfordu i CMU z lipca 2024.
TTT-Linear i TTT-MLP: zastępują uwagę (attention) małą siecią RNN, która trenuje się na własnej sekwencji. Dorównują Mambie i Transformerom w modelowaniu sekwencji. Różni się to od uczenia w kontekście: to prawdziwe aktualizacje gradientowe w trakcie inferencji, a nie tylko zmiana wzorca aktywacji. Przypadki brzegowe: jak grupować w batche, skoro każdy przykład ma własne wagi? Aktywny obszar badań.