Schalen tijdens inferentie
Meer rekenkracht inzetten bij inferentie (langere chain-of-thought, beam search, MCTS) in plaats van een groter model te trainen. Bekend geworden door OpenAI o1 (september 2024).
De ‘Bitter Lesson 2.0’ — voor sommige taken (wiskunde, programmeren) is langer nadenken goedkoper dan groter trainen. Gebruikt door o1, o3, DeepSeek-R1, Claude (extended thinking) en Gemini 2.0 Flash Thinking. Nadeel: elke vraag duurt 10–100 keer langer en kan minuten rekentijd kosten.