Agent Evaluation/ AI智能体评估体系

智能体评估不是简单的「对或错」判断，而是从任务完成度、工具使用正确性、推理链质量和安全合规等多个维度，系统性地衡量AI Agent在开放环境中执行复杂任务的能力。

智能体评估体系可从三个维度理解：

**1. 按评估粒度分层**

- **单元级评估**：评估单个工具调用/函数调用的正确性。比如检查Agent调用search_tool时参数是否准确、返回结果是否被正确解析。用精确匹配或语义相似度衡量。

- **轨迹级评估**：评估Agent完成任务的完整轨迹。检查推理链是否合理、步骤顺序是否正确、中间决策是否高效。重点关注「过程质量」而非仅「结果质量」。

- **任务级评估**：评估最终输出是否符合预期。包括任务完成率、输出质量、用户满意度。这是最接近真实使用场景的评估方式。

**2. 按评估方法分类**

- **参考对比法**：拿Agent的输出与人工标注的「参考答案」对比。适用于有确定答案的任务（如信息检索、数据提取）。

- **LLM-as-Judge**：用大模型当裁判评估Agent的行为和输出。适用于开放任务，通过评分卡或Pairwise对比。

- **自洽性检验**：对同一任务多次运行Agent，衡量结果一致性。高变异=不可靠。

- **对抗性测试**：通过对抗样本、Edge Cases、注入攻击测试Agent的鲁棒性。

**3. 按评估维度分类**

- **鲁棒性**：面对噪声输入、恶意注入、异常情况的稳定性

- **安全性**：是否拒绝危险指令、不泄露敏感信息、遵守边界约束

- **效率**：完成任务所需的步骤数、Token消耗、延迟

- **可复现性**：相同输入下多次运行结果的一致性

- **对齐度**：行为是否符合人类意图和价值观

• 测试一：轨迹级推理评估

• 操作：准备N个测试任务（如「帮我查北京明天的天气并设置提醒」），记录Agent的完整推理轨迹。用LLM-as-Judge评估每一步推理是否合理、工具调用顺序是否正确、失败时是否合理重试。

• 工具：LangSmith (https://smith.langchain.com) 的Trace评估功能；DeepEval (https://github.com/confident-ai/deepeval) 的Agent评估模块

• 指标：轨迹合理性评分(1-5)、工具选择准确率、无效步骤率

• 测试二：任务完成率测试（E2E）

• 操作：构建20-50个标准测试场景（含正常路径、异常路径、边界条件），逐批运行Agent，统计完全成功/部分成功/失败的分布。与上一次运行结果对比Regression。

• 工具：Arize AI (https://arize.com) 的Agent评估工作台；Phoenix (https://github.com/Arize-AI/phoenix) 开源版

• 指标：任务完成率(≥80%)、平均步骤数(≤预期)、失败模式分布

• 测试三：安全与对齐测试

• 操作：准备Red-teaming测试集（Prompt注入、越狱尝试、危险指令、隐私试探），运行Agent检查是否安全拒绝。检查Agent在敏感话题上的输出是否合规。

• 工具：Garak (https://github.com/leondz/garak) LLM红队工具；NVIDIA NeMo Guardrails (https://github.com/NVIDIA/NeMo-Guardrails)

• 指标：安全拒绝率(≥95%)、注入攻击成功率(<5%)、敏感信息泄漏率(0%)

• 测试四：回归测试自动化

• 操作：将上述测试集加入CI/CD流水线。每次Agent升级（Prompt变更、模型切换、工具更新）自动跑全量测试，对比评估矩阵变化，发现Regression立即告警。

• 工具：LangFuse (https://langfuse.com) 的评估流水线；Braintrust (https://www.braintrust.dev)

• 指标：评估矩阵差值报告（每个维度Δ值）、Regression标记点

1. **评估数据污染**：用LLM-as-Judge时，如果评估用的LLM和Agent用的LLM是同一家模型，评估结果可能产生「自我偏好」偏差。解决方案：用不同厂商的模型做评估，或混合人工抽检。

1. **忽略轨迹质量**：很多团队只评估最终结果（任务完成率），但Agent可能用错误的方式得到正确结果——比如绕过了约束、用了不安全的工具调用。必须同时评估轨迹过程。

1. **测试集退化**：测试集长期不更新，Agent逐渐「过拟合」测试集。表现为测试分高但真实场景表现差。需定期更新测试集（至少每月一次），增加新场景和Edge Cases。

1. **评估成本失控**：每个Agent任务调用LLM进行评估，N个测试任务×M个评估维度可能导致评估成本是实际运行的数倍。策略：分层抽样评估 + 按风险等级分配评估深度。

• Evaluating AI Agents: A Systematic Framework: https://arize.com/blog/evaluating-ai-agents-a-systematic-framework/

• DeepEval Agent Testing Guide: https://docs.confident-ai.com/docs/agents-intro

• Building Robust Agent Evaluation Pipelines (LangSmith): https://blog.langchain.dev/building-robust-agent-evaluation-pipelines/

• OpenAI Evals: https://github.com/openai/evals