Test-Time Training
Die Modellgewichte während der Inferenz pro Anfrage anpassen — zunächst an anfragespezifischen Beispielen (Few-Shot) trainieren, dann antworten.
Klassisches MIT-Paper (Sun et al., 2020). 2024 wiederbelebt: Sakana AIs Arbeit zu ARC-AGI nach dem Sun-et-al.-Ansatz, ein MIT-Goodhart-Lab-Paper zeigte TTT über dem State of the Art. Verschiedene Varianten: LoRA-Finetuning pro Anfrage, vollständiges Fine-Tuning auf Kandidatenlösungen, mehrere Alternativen plus Auswahl. Sehr teuer (jede Anfrage entspricht einem Mini-Trainingslauf). Vielversprechend für Few-Shot-Reasoning bei Out-of-Distribution-Problemen.