Données synthétiques
Des données d'entraînement générées par un autre modèle — de plus en plus importantes à mesure que l'internet ouvert cesse de suffire comme source. Phi-3, Llama 3.1 et Claude en font tous un usage intensif.
Self-Instruct (2022) fut la première méthode populaire. Phi-3 (Microsoft) est entraîné presque exclusivement sur des données synthétiques. Le risque : l'« effondrement du modèle » (model collapse, Shumailov et al., 2023) — des générations successives de données synthétiques peuvent dégrader la qualité. On l'atténue en mélangeant des données réelles, par la distillation, le RLHF ou le RLAIF.