Gestructureerde uitvoer
Garanderen dat het antwoord van een LLM een exact formaat volgt (meestal JSON volgens een schema) door te beperken welke tokens gegenereerd mogen worden — in plaats van te hopen en achteraf te parseren. ‘Vraag netjes om JSON’ wordt een harde garantie.
Werking (‘constrained decoding’): bij elke generatiestap zijn alleen tokens toegestaan die volgens een schema of grammatica (JSON Schema, een regex, een CFG) tot geldige uitvoer kunnen leiden. Het model kan dus geen ongeldige JSON produceren. Implementaties: OpenAI Structured Outputs en ‘JSON mode’, de GBNF-grammatica van llama.cpp, Outlines en function-calling-API's. Voordeel: geen kwetsbare parsing of retry-lus, betrouwbare koppeling met code, veiligere pipelines. Nadeel: de inferentie-engine moet het ondersteunen, en een te strakke grammatica kan soms onnatuurlijke antwoorden afdwingen. De moderne oplossing voor het probleem dat output parsing handmatig aanpakte, nauw verbonden met function calling.