Compute-optimal Escalonamento Chinchilla
A descoberta de 2022 de que os grandes modelos de linguagem da época estavam seriamente subtreinados: parâmetros e tokens de treinamento deveriam escalar na mesma proporção, mais ou menos vinte tokens por parâmetro.
O trabalho da DeepMind treinou uma porção de modelos em tamanhos e volumes de dados diferentes, com orçamento de computação fixo, e ajustou uma superfície pelos resultados. A conclusão ia direto contra a prática vigente, que era deixar os modelos maiores mantendo o conjunto de dados mais ou menos igual. A prova foi o Chinchilla, com setenta bilhões de parâmetros treinado em 1,4 trilhão de tokens, que bateu o Gopher — quatro vezes maior — em quase tudo. A ressalva importante, porém, é que a regra minimiza o custo de treinamento e mais nada. Se o modelo vai rodar bilhões de vezes depois, sai mais barato no total treinar um modelo menor bem além do ótimo — que foi exatamente o que a série Llama fez, na casa de mil tokens por parâmetro.