IT用語集 › AI & 機械学習 › 合成データ
別のモデルが生成した学習データ。公開インターネットがデータ源として尽きつつある今、重要性が増している。Phi-3、Llama 3.1、Claudeも多用している。
最初に広まった手法は2022年のSelf-Instructである。MicrosoftのPhi-3は、ほぼ完全に合成データで学習されている。リスクは「モデル崩壊」（Shumailovら、2023年）で、合成データの生成を繰り返すと品質が劣化しかねない。実データの混合、蒸留、RLHF/RLAIFによって緩和される。