IT用語集 › AI & 機械学習 › コーパス
言語モデルの学習や言語の分析に使う、大規模なテキストの集合。
Common Crawl（公開ウェブ）、Wikipedia、BookCorpus、GitHubのコードなどが代表的である。規模はトークン数で測られ、現代のLLMは数兆トークンで学習する。生の量よりも、品質フィルタと重複排除のほうが効くことが多い。