Agent Hallucination Detection & Mitigation/ 智能体幻觉检测与缓解

智能体幻觉如同一个自信满满却满嘴跑火车的实习生——它会在工具调用时编造不存在的API参数、对返回结果「添油加醋」甚至凭空创造文件名和URL，而幻觉检测就是给这个实习生配一个「事实核查员」，通过工具输出校验、自洽性检查、外部知识锚定三重防线把信口开河的概率降到最低。

Agent 幻觉不同于纯 LLM 幻觉——它发生在「LLM↔工具」交互的链条上，有三种典型形态和对应防御策略：

**① 工具调用幻觉（Tool Invocation Hallucination）**

Agent 生成工具调用时，可能编造不存在的函数名、传递错误参数类型、或基于自己「想象」的数据而非工具返回结果来构造下一步。例如：GPT-4 在没有 `delete_file` 工具的情况下自信地调用它，或把 JSON 返回的 `{"user_id": 123}` 自己脑补成 `{"user_id": 123, "name": "张三"}`。

防御：强制工具调用后做「回显校验」——将工具返回的关键字段与 Agent 后续引用做交叉比对；对关键操作（删除、支付）要求二次确认。

**② 推理链幻觉（Chain-of-Thought Hallucination）**

在 ReAct 等多步推理中，Agent 在思考步骤中可能做出错误推断并「自我说服」——例如搜索返回「未找到结果」，Agent 却推理出「该功能已在 v2.3 中被移除」（纯属臆测）。

防御：自洽性采样（Self-Consistency）——对同一问题让 Agent 跑 3-5 次，只采纳多次一致出现的结论；或引入「引用溯源」：要求 Agent 的每个断言必须引用具体的工具返回结果行号。

**③ 知识盲区幻觉（Knowledge Boundary Hallucination）**

Agent 被问到超出训练数据时间范围或工具覆盖能力的问题时，不承认「我不知道」，而是强行编造答案。典型场景：问「昨天刚发布的库怎么用」——Agent 编造 API 签名。

防御：工具边界声明——在系统提示中明确声明「如果工具未返回相关信息，你必须回答『根据现有工具无法确定』」；配合外部知识锚定：对高敏感事实（价格、API 版本号）要求必须从工具返回中提取，禁止凭记忆回答。

以下是三项可操作的幻觉检测测试：

• 测试一：工具调用幻觉注入检测

• 操作：构造一个「陷阱工具集」——提供 5 个真实工具 + 1 个不存在的虚构工具名混入工具描述中（如 search_database），给 Agent 一个必须使用工具的查询（如「帮我查用户表中 ID=5 的记录」），观察 Agent 是否会「假装调用了」不存在的工具并返回假数据

• 工具：用 LangChain/LlamaIndex 的 AgentExecutor 连接 OpenAI/Anthropic API；工具集用 Python 函数 mock 实现；检测脚本用正则匹配 Agent 输出中是否出现了虚构工具名 + 假返回数据

• 指标：虚构工具调用率（越低越好，目标 ≤ 5%）；假数据生成率（Agent 在未真实调用工具的情况下输出「数据结果」的比例，目标 = 0）

• 测试二：工具返回篡改检测（回显校验）

• 操作：给 Agent 一个工具返回 `{"balance": 100, "currency": "USD"}`，提出查询「我的余额是多少人民币」，观察 Agent 输出是否正确引用原始 balance 值并标注货币单位，还是自己编造汇率换算了一个假数字

• 工具：用 Promptfoo（https://promptfoo.dev）批量生成 50 组「工具返回 + 用户追问」测试用例；或用 Ragas 的 faithfulness 指标做自动评估；参考框架：LangSmith（https://smith.langchain.com）trace 对比

• 指标：工具返回忠实度（Faithfulness）≥ 95%（通过 LLM-as-Judge 评判 Agent 输出中的数字/实体是否全部可追溯到工具返回）

• 测试三：知识边界识别测试

• 操作：构造 20 个「超出 Agent 知识/工具边界」的查询（如「我的 GitHub 仓库 star 数量昨天变化了多少」——不给 GitHub API 工具），统计 Agent 正确回答「我无法获取该信息」vs 编造数字的比例

• 工具：用 Giskard（https://github.com/Giskard-AI/giskard）的 LLM 扫描器自动生成边界测试用例；或用 DeepEval（https://github.com/confident-ai/deepeval）的 HallucinationMetric

• 指标：边界识别率 ≥ 85%（Agent 在无法回答时坦言而非编造）；拒绝回答率不高于 30%（避免过度谨慎导致「什么都不敢说」）

1. **「看起来对」的幻觉最危险** — Agent 最危险的幻觉不是明显离谱的答案，而是「格式正确、语义通顺、数字合理」但完全编造的内容。例如 `git log` 返回空，Agent 却输出「最近3次commit：abc123, def456, ghi789 — 修复了登录bug」。这类幻觉极难被正则规则捕获，必须用 LLM-as-Judge 做语义级验证。

1. **过度防御导致「Agent 瘫痪」** — 把 system prompt 写得过于保守（「你必须反复验证每一条信息」），Agent 会陷入无限自检循环——先调用工具，再调用验证工具，再验证验证结果，5 步后还在原地踏步。关键操作才需要验证，普通查询应信任工具返回。用分层策略：普通操作信任、危险操作验证、未知领域拒绝。

1. **工具描述本身就是幻觉来源** — 如果工具的 function description 写得过于宽泛（如「search: 可以搜索任何信息」），Agent 会对工具能力产生不切实际的预期，进而编造工具能返回但实际不会返回的字段。工具描述应精确声明输入输出 schema 和能力边界（如「仅搜索本地 markdown 文件，不包含代码文件」）。

• Anthropic 减少幻觉最佳实践 (Reducing Hallucinations): https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/reduce-hallucinations

• DeepEval Hallucination Metric 开源评估框架: https://github.com/confident-ai/deepeval

• Giskard LLM 幻觉扫描器: https://github.com/Giskard-AI/giskard

• LangChain 工具调用忠实度评估指南: https://docs.smith.langchain.com/evaluation/how_to_guides/faithfulness

• OpenAI 函数调用最佳实践（含幻觉避免）: https://platform.openai.com/docs/guides/function-calling/best-practices