Compute-optimal (вычислительно оптимальное обучение)
Вывод 2022 года о том, что тогдашние большие языковые модели сильно недообучены: параметры и обучающие токены должны расти примерно в одном темпе — около двадцати токенов на параметр.
В DeepMind обучили множество моделей разных размеров на разных объёмах данных при фиксированных вычислительных бюджетах и провели через результаты аппроксимирующую поверхность. Вывод шёл вразрез с общепринятой практикой, когда модели делали всё больше, а датасет почти не трогали. Доказательством стала Chinchilla на семьдесят миллиардов параметров, обученная на 1,4 триллиона токенов: она превзошла вчетверо большую Gopher почти по всем задачам. Важная оговорка, однако, в том, что правило минимизирует только стоимость обучения. Если модель потом будут запускать миллиарды раз, в сумме дешевле обучить меньшую модель далеко за пределами оптимума — именно так поступили с серией Llama, где набралось что-то около тысячи токенов на параметр.