Agent Test Automation & Mocking/ 智能体测试自动化与模拟

Agent 测试不能靠手工一次次对话验证——你需要 Mock LLM 来固定输出、录制真实轨迹来做回归、对每条工具调用做断言。建立了自动化测试体系的 Agent 团队，改一行 prompt 跑 100 条回归就知道有没有断东西；没有体系的团队，只能发布后祈祷。这是 Agent 从「看上去能跑」到「生产可依赖」的工程化分水岭。

Agent 测试体系分为三层，自底向上从确定性到真实性递进：

**1. 单元级：Mock LLM + 工具隔离测试**

• 核心思想：Agent 的每个决策路径都可以通过固定 LLM 返回值来「冻结」，从而让测试 100% 确定可重复

• 实现方式：注入一个 FakeLLM，对特定 prompt 返回预定义的 JSON 响应（如 `{"tool": "search", "params": {"q": "天气"}}`）。这样你就知道：给定这个输入，Agent 一定会调用 search 工具

• 适用场景：测试工具选择逻辑（该不该调这个工具）、参数校验、错误处理分支

• 典型工具：unittest.mock（Python 标准库）、pytest-mock、responses（HTTP mock）

**2. 集成级：轨迹录制回放 (VCR/Trace Replay)**

• 核心思想：把一次「正确的」Agent 执行全程录制下来（用户消息→LLM响应→工具调用→工具结果→下一轮LLM响应...），作为「黄金轨迹」。修改代码后重放，逐条比对

• 实现方式：用 LangSmith / LangFuse / Arize Phoenix 等可观测平台录制完整 trace，导出为 JSON fixture，在 pytest 中逐步骤断言

• 适用场景：回归测试——改动了 prompt 或工具定义，重放 50 条历史对话验证无退化

**3. 端到端级：沙箱环境 + 行为断言**

• 核心思想：给 Agent 一个真实的（但隔离的）环境——Docker 沙箱、测试数据库、Mock 外部 API——让它完整执行任务，对最终结果做断言

• 断言类型：最终状态断言（「文件内容应为 X」）、轨迹断言（「最多调用 5 次工具」）、负向断言（「不该访问敏感文件」）

• 适用场景：发版前的最终验收——确保 Agent 在新版本上能独立完成核心用户场景

• **测试一：Mock LLM 实现确定性单元测试**

• 操作：用 pytest + unittest.mock 替换 LangChain 的 ChatOpenAI 类。构造 3 个测试场景——正常调用工具、工具返回错误、LLM 输出不合理——每个场景固定 LLM 返回值，验证 Agent 的行为分支是否正确

• 工具：pytest（https://pytest.org）+ unittest.mock（标准库）+ LangChain FakeLLM / FakeChatModel（https://python.langchain.com/docs/how_to/chat_models_unittest/）

• 指标：所有单元测试 100% 可重复（无随机性），单测执行时间 < 100ms/条，分支覆盖率 ≥ 80%

• **测试二：LangSmith Trace 录制回放回归测试**

• 操作：在 LangSmith 中录制 20 个真实用户场景的完整 Agent 轨迹（Conversation→ToolCall→Result→FinalAnswer），导出为 JSON fixture。每次修改 prompt/工具定义后，用 pytest 跑全量 20 条轨迹，比对每一步的 tool_name 和最终答案的语义一致性（用 embedding 相似度 ≥ 0.95）

• 工具：LangSmith（https://smith.langchain.com）+ LangChain Callback 录制 + sentence-transformers（https://sbert.net）做语义比对

• 指标：回归通过率 ≥ 95%（20 条中 ≥ 19 条轨迹行为一致），语义一致性 ≥ 0.95，检测到退化时精确报告哪一步开始出现偏差

• **测试三：Docker 沙箱端到端验收测试**

• 操作：用 Docker 搭建隔离测试环境（包含测试数据库、Mock 搜索 API 的 WireMock 容器、测试文件系统）。让 Agent 执行「在这个代码仓库中找到 bug 并修复」的完整任务，用 pytest 在容器内验证修复结果

• 工具：Docker Compose（https://docs.docker.com/compose/）+ WireMock（https://wiremock.org/）Mock 外部 API + testcontainers-python（https://testcontainers-python.readthedocs.io/）管理容器生命周期

• 指标：端到端成功率 ≥ 80%（10 个典型任务至少完成 8 个），单任务平均耗时 ≤ 5 分钟，测试环境启动时间 < 30 秒

1. **Mock LLM 太死板，测不出真实问题**：把所有 LLM 返回值都硬编码成完美格式，测试全绿，但一上线就崩——因为真实 LLM 有时返回格式错误、有时遗漏必填参数、有时多加了一个不存在的字段。正确做法：在 Mock 数据集中混入 10-20% 的「脏数据」——格式错误、参数缺失、多余字段——确保 Agent 的容错逻辑也被测试覆盖。

1. **轨迹回放中的「时间炸弹」**：录制的轨迹里有时间戳（如「今天是 2026-07-10」），两天后回放时 Agent 看到的是旧日期，调用天气 API 会返回 7 月 10 日而非 7 月 12 日的数据，断言全部失败。解决：录制时用 `freezegun` 固定时间，回放时也用同一时间；或者在断言中忽略时间相关字段，只比对非时间敏感的行为。

1. **只测「正常路径」忽略了「什么都不该做」的负向场景**：Agent 被问到「帮我检查一下系统状态」，结果它顺便读了你桌面的私人文件——虽然最终回答正确，但中间行为是隐私泄露。测试必须包含负向断言：用 `assert_not_called` 验证不该碰的工具/文件确实没被访问。这类测试比正向测试更难设计，但更重要。

• LangChain Unit Testing Guide — 官方 Agent 单元测试指南（含 FakeLLM/FakeChatModel 示例）: https://python.langchain.com/docs/how_to/chat_models_unittest/

• Arize Phoenix — 开源 Agent 可观测与轨迹录制平台: https://docs.arize.com/phoenix

• testcontainers-python — 用 Docker 容器做集成测试的 Python 库: https://testcontainers-python.readthedocs.io/

• WireMock — 轻量级 HTTP Mock 服务器，模拟外部 API: https://wiremock.org/

• Building Reliable AI Agents — Anthropic 官方 Agent 工程化指南: https://docs.anthropic.com/en/docs/build-with-claude/agent-engineering