Mise à l'échelle à l'inférence
Consacrer plus de calcul à l'inférence (chaîne de pensée plus longue, beam search, MCTS) plutôt que d'entraîner un modèle plus grand. Rendu célèbre par OpenAI o1 (septembre 2024).
La « Bitter Lesson 2.0 » — pour certaines tâches (maths, code), il est moins cher de réfléchir plus longtemps que d'entraîner un modèle plus gros. Utilisé par o1, o3, DeepSeek-R1, Claude (mode de réflexion étendue), Gemini 2.0 Flash Thinking. Inconvénient : chaque requête prend 10 à 100 fois plus de temps, et peut coûter des minutes de calcul.