Structured output
Att garantera att en LLM:s svar följer ett exakt format (oftast JSON enligt ett schema) genom att begränsa vilka tokens den får generera — i stället för att hoppas och tolka i efterhand. Vänder "be snällt om JSON" till en hård garanti.
Mekanik ("constrained decoding"): vid varje genereringssteg tillåts bara de tokens som kan leda till giltig output enligt ett schema/en grammatik (JSON Schema, en regex, en CFG). Modellen KAN då inte producera ogiltig JSON — formatet är garanterat. Implementationer: OpenAI Structured Outputs / "JSON mode", llama.cpp:s GBNF-grammatik, Outlines, och funktionsanrops-API:er. Vinst: ingen bräcklig parsing eller retry-loop, pålitlig integration med kod, säkrare pipelines. Avvägning: kräver stöd i inferensmotorn, och en för stel grammatik kan ibland tvinga fram onaturliga svar. Den moderna, robusta lösningen på problemet som output-parsing hanterade manuellt. Tätt kopplat till function calling. Hör ihop med output-parsing och function calling.