Guided decoding Styrd avkodning
Att tvinga en språkmodell att producera utdata som följer ett schema genom att vid varje steg maskera bort alla tokens som skulle bryta mot grammatiken. Ogiltig JSON blir bokstavligen omöjlig.
Schemat — ett JSON Schema, ett reguljärt uttryck eller en formell grammatik — kompileras till en tillståndsmaskin. För varje position vet maskinen vilka tecken som är tillåtna, de motsvarande tokenen får behålla sina sannolikheter och alla andra sätts till minus oändligheten före samplingen. Modellen väljer fortfarande fritt, men bara bland giltiga alternativ. Skillnaden mot att be om JSON i prompten är kategorisk: det senare misslyckas ibland, det förra kan inte misslyckas. Biblioteken Outlines och XGrammar samt inbyggt stöd i llama.cpp, vLLM och de flesta API:er implementerar detta. Kostnaden är kompileringen av schemat och att modellen ibland tvingas in i formuleringar den ogärna valt.