Eval harness
Ustandaryzowane środowisko do uruchamiania modelu językowego na zestawie benchmarków i automatycznego, powtarzalnego mierzenia jego wyników. „Stanowisko testowe”, dzięki któremu różne modele porównuje się na równych zasadach.
Po co: ewaluacja LLM wymaga uruchomienia go na wielu zadaniach (MMLU, HellaSwag, GSM8K, HumanEval i innych), spójnego formatowania promptów, zbierania odpowiedzi i ich oceny — ręcznie to żmudne i podatne na błędy, a drobne różnice w promptach dają różne wyniki. Eval harness to ujednolica, więc liczby stają się porównywalne i powtarzalne. Najczęściej używany jest lm-evaluation-harness od EleutherAI (który napędza m.in. Open LLM Leaderboard na Hugging Face). Nie jest to pojedynczy benchmark (ten jest zbiorem danych) — harness to infrastruktura uruchamiająca dowolne benchmarki. Różni się też od evals produkcyjnych (specyficznych dla domeny, często z LLM jako sędzią). Podstawa wiarygodnych porównań modeli.