Synthetische Daten
Trainingsdaten, die von einem anderen Modell generiert wurden — zunehmend wichtig, seit dem offenen Internet als Datenquelle die Puste ausgeht. Phi-3, Llama 3.1 und Claude setzen alle stark darauf.
Self-Instruct (2022) war die erste populäre Methode. Microsofts Phi-Reihe wurde fast vollständig auf synthetischen „Lehrbuchqualität"-Daten trainiert; Orca und Magpie sind weitere moderne Pipelines. Das Risiko heißt „Model Collapse" (Shumailov et al., 2023): Werden wiederholt synthetische Generationen aufeinander trainiert, kann die Qualität verfallen. Abgemildert wird das durch Beimischung echter Daten, Destillation und RLHF/RLAIF. Anthropic, OpenAI und Google setzen seit 2024 in großem Maßstab auf synthetische Daten; Constitutional AI ist ein Spezialfall davon.