Hesaplama-optimal (compute-optimal)
2022'de, dönemin büyük dil modellerinin ciddi biçimde yetersiz eğitildiğini ortaya koyan bulgu: parametreler ve eğitim token'ları yaklaşık aynı hızda ölçeklenmeli, parametre başına kabaca yirmi token düşmeli.
DeepMind'ın çalışması, sabit hesaplama bütçeleriyle farklı boyut ve veri miktarlarında birçok model eğitti ve sonuçlara bir yüzey uydurdu. Sonuç, o güne kadarki uygulamayla taban tabana zıttı: modelleri büyütüp veri kümesini aşağı yukarı aynı bırakmak. Kanıt, 1,4 trilyon token ile eğitilen yetmiş milyar parametreli Chinchilla'ydı; dört kat büyük Gopher'ı hemen her ölçütte geride bıraktı. Önemli çekince ise şu: kural yalnızca eğitim maliyetini en aza indirir. Model sonra milyarlarca kez çalıştırılacaksa, daha küçük bir modeli optimumun çok ötesinde eğitmek toplamda daha ucuzdur; Llama serisinin yaptığı da tam olarak buydu, parametre başına yaklaşık bin token ile.