Ustrukturyzowane wyjście
Gwarancja, że odpowiedź LLM trzyma się dokładnego formatu (zwykle JSON według schematu) dzięki ograniczeniu tokenów, które wolno wygenerować — zamiast liczyć na szczęście i parsować potem. Zamienia „poproś grzecznie o JSON” w twardą gwarancję.
Mechanizm („constrained decoding”): w każdym kroku generowania dozwolone są tylko tokeny, które mogą prowadzić do poprawnego wyniku według schematu lub gramatyki (JSON Schema, wyrażenie regularne, gramatyka bezkontekstowa). Model NIE MOŻE wtedy wyprodukować niepoprawnego JSON-a — format jest gwarantowany. Implementacje: OpenAI Structured Outputs / „JSON mode”, gramatyka GBNF w llama.cpp, Outlines oraz API wywoływania funkcji. Zysk: brak kruchego parsowania i pętli ponowień, niezawodna integracja z kodem, bezpieczniejsze potoki. Kompromis: wymaga wsparcia w silniku inferencji, a zbyt sztywna gramatyka bywa wymusza nienaturalne odpowiedzi. Nowoczesne, solidne rozwiązanie problemu, który ręcznie rozwiązywało parsowanie wyjścia. Ściśle związane z wywoływaniem funkcji.