Zmniejszanie halucynacji
Zbiór technik ograniczających wymyślanie przez LLM-a rzeczy, które brzmią wiarygodnie, a są błędne. Żadna metoda nie eliminuje halucynacji całkowicie, ale kilka warstw razem czyni wynik znacznie bardziej niezawodnym.
Techniki: uziemienie w źródłach (RAG — dać modelowi prawdziwy materiał do odpowiedzi, najskuteczniejsze), wymóg cytowania (zmusić model do wskazania źródła każdego twierdzenia, by twierdzenia bez oparcia się ujawniły), weryfikacja po fakcie (drugi model lub przebieg sprawdza odpowiedź), pozwolić modelowi powiedzieć „nie wiem” (skalibrować go przeciw zgadywaniu), niska temperatura przy zadaniach faktograficznych i samospójność (kilka przebiegów, szukanie zgodności). Do tego ustrukturyzowane wyjście i użycie narzędzi (kalkulator lub baza danych odpowiada na to, w czym model jest słaby). Kompromis: więcej kontroli to większy koszt i opóźnienie, a zbyt agresywne ograniczanie czyni model nadmiernie ostrożnym. Kluczowe zagadnienie przy budowie niezawodnych systemów AI. Powiązane z RAG i uziemieniem.