Annealing-fase
De slotfase van de pretraining, waarin de learning rate naar nul afneemt terwijl de datamix wordt vervangen door aanzienlijk hoogwaardiger materiaal.
De gedachte erachter is dat wat een model het laatst ziet, wanneer de stappen klein en fijnmazig zijn, onevenredig veel invloed heeft op het uiteindelijke gedrag. In plaats van het corpus de hele training gelijk te houden, wordt het aandeel samengesteld materiaal, leerboeken, wiskunde, code en instructie-achtige synthetische tekst in de laatste procenten van de training verhoogd. De techniek werd voor het eerst openlijk beschreven in het werk rond MiniCPM en wordt nu door vrijwel iedereen gebruikt — Llama 3 en OLMo documenteren eigen varianten. Het gevolg is dat de grens tussen pretraining en post-training vervaagd is, en daarom is de term midtraining ontstaan voor precies deze fase.