Mieszanie danych
Jakie proporcje mają mieć różne źródła w korpusie do pretrainingu. Jedna z najbardziej decydujących i najmniej publikowanych decyzji przy budowie modelu językowego.
Pytanie brzmi administracyjnie, ale takie nie jest: ile tekstu z sieci wobec kodu, ile książek i prac naukowych, ile języków i w jakich proporcjach. Kilka ustaleń jest dobrze potwierdzonych. Proporcje optymalne w małej skali nie są optymalne w dużej, więc nie da się tanio dostroić mieszanki, a potem jej przeskalować. Powtarzanie źródeł wysokiej jakości przez jakiś czas działa, a potem zaczyna aktywnie szkodzić. A kod w mieszance mierzalnie poprawia rozumowanie, nawet w zadaniach niemających nic wspólnego z programowaniem. Metody ustalania wag sięgają od ręcznego strojenia po podejścia uczone, w których mały model pomocniczy znajduje rozkład minimalizujący stratę w najgorszym przypadku. Czołowe laboratoria traktują dokładną mieszankę jako tajemnicę handlową.