Agent Deterministic Execution/ 智能体确定性执行与可复现性

智能体确定性执行是让 Agent 在相同输入条件下产生可预测、可复现输出的能力。这对回归测试、生产环境排障、合规审计都是刚需，但因为 LLM 本身的概率性质和工具调用的并发特性，做到 100% 确定远比想象中困难。

确定性执行的三个层次：

1. 模型层确定性（Model-Level Determinism）

通过设置 temperature=0、固定随机 seed 参数、关闭 nucleus/top-k 采样，让模型的 token 选择路径尽可能确定。目前 OpenAI（seed 参数）、Anthropic、Google Gemini 等主流 API 都支持 degree=0 的确定性模式。但注意：即使是 temperature=0，不同批次请求之间仍可能存在微小差异（浮点运算的非结合性）。

1. 工具调用层确定性（Tool-Call Determinism）

Agent 在决定「调用哪个工具」「用什么参数」时需要确定性。这比纯文本生成的确定性更难——因为工具选择涉及多步推理和上下文理解。常用的手段包括：在 system prompt 中显式指定工具选择规则、使用 structured output（JSON mode）约束参数格式、对关键工具调用添加投票/验证机制。

1. 编排层确定性（Orchestration Determinism）

当 Agent 执行多步任务时，每一步的输出都是下一步的输入——任何一步的不确定性都会被级联放大。解决思路包括：工作流层面的「检查点 + 断点续传」（checkpoint-resume）、工具调用顺序的显式拓扑约束、以及最终输出的多次采样投票（majority voting）。

• 测试一：验证 temperature=0 的文本输出确定性

操作：使用 OpenAI API，对同一 prompt 发送 5 次请求，设置 temperature=0, seed=42

工具：OpenAI Playground (platform.openai.com/playground) 或 Python openai 库

指标：5 次响应的文本完全一致率（理想 100%），记录不一致时的具体差异位置

• 测试二：验证工具选择和参数的一致性

操作：构建一个包含「查天气」「发邮件」「查日历」三个工具的 Agent，给相同输入跑 10 次，记录每次选用的工具和参数

工具：LangChain / CrewAI / AutoGen 任意 Agent 框架

指标：工具选择一致率、参数精确匹配率、工具调用顺序一致率

• 测试三：验证多步任务的可复现性（级联影响）

操作：设计一个需 3 步工具调用才能完成的任务（如「查询北京天气，如果下雨就发邮件提醒团队」），固定 seed 后跑 5 次

工具：自建 Agent 测试脚本 + pytest

指标：完整执行路径的精确一致率（所有工具调用序列完全相同的比例）、最终输出文本的相似度（BLEU/编辑距离）

1. temperature=0 不等于 100% 确定——GPU 浮点运算的非结合性（a+(b+c) ≠ (a+b)+c）导致即使 temperature=0，不同硬件或不同批次仍可能出现不同结果。这在跨环境复现（开发机 vs 服务器）时尤其明显。

1. 工具调用顺序的回退逻辑会破坏确定性——当 Agent 因 rate limit 或超时触发了重试/回退路径时，实际执行路径与预期路径不同，导致最终结果差异。需要对重试路径也做固定化处理（如固定重试间隔、固定最大重试次数）。

1. 不同模型提供商的 seed 行为差异巨大——OpenAI 的 seed 仅在「system_fingerprint 相同」时才保证确定性；Anthropic 没有 seed 参数；Google Gemini 的 seed 机制又不同。跨模型切换时，确定性保证完全失效，需要为每个模型单独建立确定性基准。

• OpenAI 确定性使用指南: https://platform.openai.com/docs/guides/reproducible-outputs

• Anthropic 关于模型输出一致性的说明: https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/reduce-variability

• Google Gemini 确定性生成文档: https://ai.google.dev/gemini-api/docs/reproducible-outputs

• 论文《Sources of Hallucination by Large Vision-Language Models》(MINT-1K): 分析模型输出的波动根源