Agent Fallback & Graceful Degradation/ 智能体降级与优雅回退

智能体降级策略就像一个多层备选方案——当首选工具或模型不可用时，自动切换到备用方案，而不是直接报错崩溃，保证用户体验不中断。这是生产级智能体系统最重要的韧性设计之一。

1. **降级链路 (Fallback Chain)**：为每个工具/模型定义优先级顺序，主方案失败后自动尝试备选。典型链路：GPT-4o → Claude Sonnet → 本地小模型 → 规则兜底。关键在于每个环节都有明确的失败条件和切换条件。

1. **优雅降级 (Graceful Degradation)**：在非关键功能失效时，仍返回部分有效结果而非全部丢弃。例如多步骤任务中第3步失败，但前2步的结果仍然有效并返回给用户，同时标注第3步的失败原因。

1. **熔断机制 (Circuit Breaker)**：当某服务连续失败N次后，智能体暂时跳过该服务的调用，避免重复无效调用造成资源浪费和级联故障。熔断器有三种状态：关闭（正常调用）、打开（直接拒绝）、半开（试探性恢复）。

• **测试一：工具降级链路验证**

• 操作：用 pytest + unittest.mock 模拟搜索API返回500错误，验证智能体是否自动切换到备用搜索工具（如从 Tavily 降级到 DuckDuckGo）

• 工具：pytest (https://pytest.org) + respx (https://github.com/lundberg/respx) 拦截HTTP请求

• 指标：降级切换耗时 < 500ms，降级成功率 > 95%，降级后结果质量不低于主方案的80%

• **测试二：熔断器行为验证**

• 操作：连续让目标服务失败5次，验证第6次请求是否被直接跳过（熔断打开）；等待30秒冷却期后，验证半开状态下第7次试探请求的行为

• 工具：pybreaker (https://github.com/danielfm/pybreaker) 或 stamina (https://github.com/hynek/stamina)

• 指标：熔断打开阈值准确率（第N+1次触发）、半开状态恢复成功率 > 90%

• **测试三：优雅降级——部分结果返回验证**

• 操作：设计3步任务（搜索→分析→生成），让第2步注入失败，验证智能体是否返回第1步搜索结果 + 第2步失败说明，而非丢弃全部

• 工具：LangSmith Tracing (https://smith.langchain.com) 追踪每一步状态

• 指标：部分结果保留率 = 成功步骤数/总步骤数，用户可感知的可用信息比例

1. **降级太激进导致系统退化**：所有失败都无条件降级，最终系统退化成"什么都能做但什么都做不好"的状态。应设定**底线规则**——核心能力（如安全校验、合规检查）不允许降级，宁可拒绝服务也不能绕过。

1. **降级链路循环依赖**：A工具失败→降级到B→B的实现中又调用了A作为补充→A再次失败→陷入无限循环。必须在降级链设计时显式禁止反向依赖，或设置全局降级深度上限（如最多跳转2次）。

1. **熔断阈值凭感觉设置**：阈值太低导致网络正常波动就被熔断（假阳性），阈值太高导致故障持续过久才被发现（检测延迟）。建议从3次失败/30秒窗口开始，基于生产数据逐步调优。

• Microsoft: Resiliency Patterns for LLM Applications — 微软官方AI应用弹性设计指南: https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/resiliency-llm-applications

• OpenAI: Function Calling Best Practices (Error Handling) — 函数调用错误处理最佳实践: https://platform.openai.com/docs/guides/function-calling

• Building Reliable AI Agents — Anthropic 关于构建可靠AI智能体的工程指南: https://docs.anthropic.com/en/docs/build-with-claude/tool-use