Decodifica guidata
Costringere un modello linguistico a produrre un output conforme a uno schema, mascherando a ogni passo tutti i token che violerebbero la grammatica. Il JSON non valido diventa letteralmente impossibile.
Lo schema — uno JSON Schema, un'espressione regolare o una grammatica formale — viene compilato in un automa a stati. In ogni posizione l'automa sa quali caratteri sono ammessi: i token corrispondenti mantengono la loro probabilità, tutti gli altri vengono portati a meno infinito prima del campionamento. Il modello sceglie ancora liberamente, ma solo tra opzioni valide. La differenza rispetto a chiedere il JSON nel prompt è categorica: nel secondo caso a volte si fallisce, nel primo non si può. Lo implementano le librerie Outlines e XGrammar, oltre al supporto integrato in llama.cpp, vLLM e nella maggior parte delle API. Il costo è la compilazione dello schema e il fatto che il modello venga talvolta forzato verso formulazioni che non avrebbe scelto.