Corpus
Une grande collection de textes servant à entraîner des modèles de langage ou à analyser la langue.
Common Crawl (le web public), Wikipédia, BookCorpus, code GitHub. La taille se mesure en tokens — les LLM modernes s'entraînent sur des milliers de milliards. Les filtres de qualité et la déduplication comptent, souvent plus que le volume brut.