Mistura de dados
Que proporções as diferentes fontes devem ter em um corpus de pré-treinamento. Uma das decisões mais decisivas e menos divulgadas na construção de um modelo de linguagem.
A pergunta parece administrativa e não é: quanto texto da web contra código, quantos livros e artigos acadêmicos, quantos idiomas e em que proporções. Alguns achados são bem estabelecidos. Proporções ótimas em escala pequena não são ótimas em escala grande, então não dá para calibrar barato e depois escalar. Repetir fontes de alta qualidade várias vezes funciona por um tempo e depois passa a ser ativamente prejudicial. E código na mistura melhora de forma mensurável o raciocínio, até em tarefas que nada têm a ver com programação. Os métodos para definir os pesos vão do ajuste manual a abordagens aprendidas, em que um pequeno modelo-proxy encontra a distribuição que minimiza a perda no pior caso. Os laboratórios de fronteira tratam a mistura exata como segredo industrial.