Computação em tempo de teste
A ideia de gastar mais computação na inferência (e não no treinamento) — deixar o modelo pensar por mais tempo, gerar mais respostas candidatas e escolher a melhor.
Pesquisas da DeepMind e da OpenAI em 2024 mostraram que um modelo menor com um orçamento de inferência 10× maior pode superar um modelo 10× maior com decodificação padrão. Técnicas: chain-of-thought longo (o1, R1), amostragem best-of-N, busca em árvore (ToT), modelos de recompensa de processo.
A mudança alterou a economia de implantação dos LLMs — a inferência fica mais cara por consulta, mas o treinamento é amortizado. Todo o paradigma dos "modelos de raciocínio" é o escalonamento de computação em tempo de teste na prática.