出力パース（LLM）
LLMの文章から構造化データを取り出し、モデルが指定の形式を守らなかった場合にも対処すること。自由文を生成するモデルから、機械可読な出力を確実に得るための泥臭い現実である。
問題はこうだ。JSONを求めても、返ってくるのはJSONに近いものであることが多い。前後に余計な文（「JSONはこちらです」）が付く、引用符が壊れている、出力が途中で切れている、Markdownのコードフェンスで囲まれている、といった具合だ。素朴なJSON.parseではクラッシュする。出力パースはこれに対処する仕組みで、周囲の文章からJSONを抜き出し、よくある誤りを修復し、スキーマで検証し、失敗したらエラーを添えてモデルにやり直させる（「エラー付きリトライ」）。ライブラリにはLangChainのOutputParserやPydanticによる検証がある。
使えるなら、より良い解決策は制約付きデコーディング（構造化出力）で、トークン単位で有効なJSONしか生成させないことで問題を根元から消せる。出力パースは、その保証がない場合の防御策だ。地味だが、信頼できるLLMアプリを作るうえで欠かせない。構造化出力や関数呼び出しと関係が深い。