Datakontaminering Data contamination
När testdata råkat hamna i träningsdatan. Modellen får då rätt svar för att den memorerat frågan, inte för att den kan lösa uppgiften — och benchmarksiffran blir meningslös.
Nästan oundvikligt när träningsdata skrapas från hela webben och benchmarks som MMLU, GSM8K och HumanEval ligger publikt på GitHub, i forumtrådar och i tusen blogginlägg. Det räcker inte att filtrera på exakt textmatchning: omskrivna varianter, översättningar och lösningsdiskussioner kontaminerar också. Indikationer på problem är onormalt hög poäng på ett gammalt testset men svaga resultat på ett nytt av samma svårighetsgrad, eller att modellen kan återge frågan ordagrant när man ber om det. Motmedlen är kanariesträngar i testfiler, hållna testset som aldrig publiceras, och färska benchmarks som LiveCodeBench där uppgifterna daterats efter modellens kunskapsstopp.