Korpus
Eine große Textsammlung, die zum Trainieren von Sprachmodellen oder zur Sprachanalyse verwendet wird.
Common Crawl (das offene Web), Wikipedia, BookCorpus, GitHub-Code. Die Größe wird in Tokens gemessen — moderne LLMs trainieren auf Billionen davon. Qualitätsfilter und Deduplizierung zählen, oft mehr als die reine Menge.