Guided Decoding
Ein Sprachmodell zwingen, einem Schema zu folgen, indem bei jedem Schritt alle Tokens maskiert werden, die die Grammatik verletzen würden. Ungültiges JSON wird buchstäblich unmöglich.
Das Schema — ein JSON Schema, ein regulärer Ausdruck oder eine formale Grammatik — wird in eine Zustandsmaschine kompiliert. An jeder Position weiß die Maschine, welche Zeichen erlaubt sind; die entsprechenden Tokens behalten ihre Wahrscheinlichkeiten, alle anderen werden vor dem Sampling auf minus unendlich gesetzt. Das Modell wählt weiterhin frei, aber nur unter gültigen Optionen. Der Unterschied zur Bitte um JSON im Prompt ist kategorisch: Letzteres schlägt manchmal fehl, Ersteres kann es nicht. Die Bibliotheken Outlines und XGrammar sowie die eingebaute Unterstützung in llama.cpp, vLLM und den meisten APIs setzen das um. Der Preis: das Kompilieren des Schemas und dass das Modell gelegentlich in Formulierungen gezwungen wird, die es sonst nicht gewählt hätte.