Dane syntetyczne
Dane treningowe wygenerowane przez inny model — coraz ważniejsze, w miarę jak otwarty internet przestaje wystarczać jako źródło. Intensywnie korzystają z nich Phi-3, Llama 3.1 i Claude.
Self-Instruct (2022) był pierwszą popularną metodą. Phi-3 (Microsoft) jest trenowany niemal wyłącznie na danych syntetycznych. Ryzyko to „załamanie modelu” (Shumailov i in., 2023) — kolejne pokolenia danych syntetycznych mogą obniżać jakość. Łagodzi się je domieszką danych prawdziwych, destylacją oraz RLHF/RLAIF.