Faza wyżarzania
Końcowy odcinek pretreningu, w którym współczynnik uczenia spada do zera, a mieszankę danych zastępuje się materiałem znacznie wyższej jakości.
Za tym stoi obserwacja, że to, co model widzi na końcu, gdy kroki są małe i drobne, ma nieproporcjonalny wpływ na jego zachowanie. Zamiast utrzymywać ten sam korpus przez cały czas, w ostatnich kilku procentach treningu zwiększa się udział wyselekcjonowanych tekstów, podręczników, matematyki, kodu i syntetycznego materiału podobnego do instrukcji. Technikę po raz pierwszy opisano otwarcie przy okazji MiniCPM, a dziś stosuje ją praktycznie każdy — Llama 3 i OLMo dokumentują własne warianty. Efekt: granica między pretreningiem a post-treningiem się zatarła, stąd termin midtraining na określenie właśnie tego etapu.