Agent Error Recovery & Resilience/ 智能体错误恢复与容错

智能体错误恢复就像给自动驾驶装上了「备胎和紧急刹车」——当工具调用失败、API超时、模型幻觉或陷入死循环时，Agent能自动检测、回退、重试或优雅降级，而不是直接崩溃。这是智能体从「演示玩具」迈向「生产可靠」的必经之路。

智能体错误恢复有三大核心模式，层层递进形成完整的容错体系：

**1. 重试与退避策略（Retry & Backoff）**

指数退避是最基础也最常用的容错手段。当工具调用失败（网络超时、临时限流），Agent 按指数级增长等待间隔重试（1s → 2s → 4s → 8s），并加上随机 jitter 防止惊群效应。关键参数：max_retries=3，总超时 30s，仅重试可重试错误（5xx、429、timeout），4xx 直接失败。

**2. 回退链（Fallback Chain）**

单点依赖是智能体的致命弱点。回退链构建了容错纵深：主工具 → 备选工具 → 降级 LLM 能力 → 人工兜底。例如数学计算优先用 Wolfram API，失败则 fallback 到 Python Code Interpreter，再失败则用 LLM 自身推理。每一层都有明确的 failover 条件和监控埋点。

**3. 断路器模式（Circuit Breaker）**

当某个下游服务连续 N 次失败后，断路器「熔断」——后续请求不再实际发出，直接快速失败（fail-fast），避免耗尽 Agent 的 Token 预算和超时配额。断路器有三种状态：关闭（正常）、打开（熔断）、半开（定时探测恢复）。关键参数：failure_threshold=5，cooldown=30s。

• 测试一：工具超时注入——验证指数退避重试

• 操作：用 toxiproxy 在 Agent→工具之间建立透明代理，注入 3 秒延迟使首次调用超时，观察 Agent 的重试行为和时间间隔

• 工具：toxiproxy (https://github.com/Shopify/toxiproxy) + Python HTTP client

• 指标：重试次数是否≤max_retries、退避间隔是否符合指数增长、最终恢复成功率 ≥ 90%

• 测试二：API 限流模拟——验证 429 处理与断路器

• 操作：用 MockServer 模拟工具端点持续返回 HTTP 429，验证 Agent 是否正确解析 Retry-After 头，并在连续 5 次失败后触发断路器熔断

• 工具：MockServer (https://www.mock-server.com/) 或 WireMock (https://wiremock.org/)

• 指标：断路器熔断延迟 ≤ 5次失败、半开探测间隔 ≥ 30s、恢复后成功率恢复正常

• 测试三：Agent 死循环检测——验证循环中断机制

• 操作：构造一个会让 Agent 反复调用同一工具的 prompt（如「查询永远不存在的订单号」），记录 N 步操作序列，用滑动窗口检测重复模式（长度 ≥ 3 的重复序列）

• 工具：LangGraph (https://github.com/langchain-ai/langgraph) + 自定义循环检测器

• 指标：循环检测准确率 ≥ 95%（不应误杀正常的多步重试）、检测延迟 ≤ 5步、人工投诉率（漏检）≤ 1%

1. **无限重试吃掉所有 Token 预算**

没有 max_retries 和总超时限制的重试是生产环境噩梦。一个工具故障 + 无限重试 = 单次会话烧掉上百美元。必须同时设置：max_retries（如 3 次）、total_timeout（如 60s）、per_step_budget（如 10K tokens），任一超限立即终止。

1. **重试非幂等操作导致双重扣款**

重试支付、发邮件、创建订单等非幂等操作会产生灾难性后果。写操作必须带 idempotency key：请求前生成 UUID，服务端按 key 去重。如果工具不支持幂等 key，用「先查询确认状态，再决定是否执行」的二阶段模式。

1. **静默降级掩盖真实错误**

Fallback 链条越长，真实故障越容易被「吃掉」。必须遵循：所有降级路径必须打 WARN 级别日志 + 上报 metrics（降级次数、降级原因、降级链路耗时），设置降级告警阈值（5 分钟内降级 10 次触发 P2 告警），定期审视降级是否已变成常态。

• OpenAI 官方错误处理最佳实践: https://platform.openai.com/docs/guides/error-codes

• Anthropic API 错误处理与重试指南: https://docs.anthropic.com/en/api/errors

• LangGraph 工具调用错误处理教程: https://langchain-ai.github.io/langgraph/how-tos/tool-calling-errors/

• Resilience4j 断路器模式生产级实现: https://resilience4j.readme.io/docs/circuitbreaker

• Google SRE 错误预算与容错设计: https://sre.google/workbook/implementing-slo-error-budget/