LLM调用返回值的解析策略

文章主旨：在开发大模型应用时，应构建一套从预防到兜底的鲁棒解析流程，以系统性解决LLM返回JSON时因自由生成特性导致的语法错误、字段缺失或截断问题，而非依赖模型“完美输出”。

关键要点：

• 先排查 Token 截断（检查 finish_reason: "length"），而非直接归咎于格式错误。
• 解析失败时优先使用重试机制（捕获 JSONDecodeError 后重试），简单有效。
• 工程级健壮性应依赖官方结构化输出（JSON Schema / Pydantic），而非提示词约束。
• 必须清洗模型可能附加的 Markdown 包裹（如 json 标记），再解析 JSON。
• 字段级防御性解析（如 .get() + 类型安全转换）可避免程序崩溃。

内容结构：

引言：指出LLM回复JSON时json.loads()频繁失败的根因——模型自由生成与JSON严格语法的矛盾。
第一部分：核心理念——永远不要信任模型返回完美JSON，即使启用response_format={"type": "json_object"}，仍可能字段缺失、类型错误、语法不合法或截断。
第二部分：实战策略演进：

• 策略1：先排查Token截断（检查finish_reason，调整max_tokens）。
• 策略2：解析失败直接重试（90%偶发问题一次解决）。
• 策略3：使用结构化输出（JSON Schema / Pydantic）保证100%合法。
• 策略4：清洗Markdown包裹的JSON（正则去除标记）。
• 策略5：字段级防御性解析（.get() + 类型转换）。
• 策略6：简单场景不用JSON（特殊分隔符 split 更稳定）。

第三部分：完整鲁棒解析流程——提供RobustJsonParser类，集成清洗、提取、校验、重试、日志留痕。
第四部分：实战经验总结——血泪教训：AI误判根因、权宜之计、修A改B、忘记初心、全链路留痕、自查修改。
结语：强调系统健壮性在于“无论模型返回什么，系统都能稳稳接住”，归纳六大步骤：先排查截断、优先结构化、外层重试、中层清洗、内层防御、全程日志。

文章总结：本文是一份基于实战的系统性解决方案，建议开发者放弃对模型完美输出的幻想，转而通过多层防御策略（截断检查、结构化输出、重试、清洗、字段保护）和全链路留痕来构建高鲁棒性的LLM返回值解析逻辑，从而减少生产环境中的崩溃与排查成本。

未来5年，企业变革的底层逻辑变了

了解更多

麦哲思科技任甲林

查看原文：LLM调用返回值的解析策略

文章来源：

麦哲思科技任甲林

扫码关注公众号