Entraînement au moment du test Test-time training
Le modèle continue de mettre à jour ses poids pendant l'inférence, en fonction de l'entrée courante — il s'adapte à chaque exemple. Article issu de Stanford, juillet 2024.
TTT-Linear et TTT-MLP : l'attention est remplacée par un petit RNN qui s'entraîne sur sa propre séquence. Résultats comparables à Mamba et aux Transformers en modélisation de séquences. Diffère de l'apprentissage en contexte : de véritables mises à jour de gradient pendant l'inférence, et non un simple motif d'activations. Cas limite : comment former des lots quand chaque exemple possède ses propres poids ? Domaine de recherche actif.