コンピュート最適
当時の大規模言語モデルはひどく学習不足だった、という2022年の知見。パラメータ数と学習トークン数はほぼ同じ比率で増やすべきで、目安はパラメータ1つあたり約20トークン。
DeepMindの研究は、固定された計算予算のもとで多数のモデルをサイズとデータ量を変えて学習し、結果に曲面を当てはめた。結論は当時の常識に真っ向から反した。それまではデータセットをほぼ据え置いたままモデルだけを大きくするのが通例だったのだ。証拠となったのが、700億パラメータを1.4兆トークンで学習したChinchillaで、4倍大きいGopherをほぼ全項目で上回った。ただし重要な留保がある。この法則が最小化するのは学習コストだけだ。モデルをその後何十億回も動かすなら、最適点をはるかに超えて小さなモデルを学習する方がトータルでは安くなる。Llamaシリーズがまさにそれで、パラメータあたり1000トークン前後まで学習している。