Compute-optimal
De bevinding uit 2022 dat de grote taalmodellen van die tijd ernstig ondergetraind waren: parameters en trainingstokens horen ongeveer even snel te groeien, rond twintig tokens per parameter.
Het werk van DeepMind trainde veel modellen over verschillende groottes en datahoeveelheden bij vaste rekenbudgetten en legde een oppervlak door de resultaten. De conclusie ging recht in tegen de heersende praktijk, die erin bestond modellen groter te maken en de dataset ongeveer gelijk te laten. Het bewijs was Chinchilla met zeventig miljard parameters, getraind op 1,4 biljoen tokens, dat het viermaal grotere Gopher op bijna alles versloeg. Het belangrijke voorbehoud is echter dat de regel alleen de trainingskosten minimaliseert en niets anders. Wordt het model daarna miljarden keren gedraaid, dan is het in totaal goedkoper een kleiner model ver voorbij het optimum te trainen — precies wat de Llama-serie deed, met zo'n duizend tokens per parameter.