加载中...
加载中...
每日一期 AI 知识点，从 ReAct 循环到测试制度体系，系统性构建 AI 测试知识框架。
ReAct让AI Agent在思考和行动之间交替循环，先推理当前状态和目标差距，再执行工具调用获取新信息，然后根据结果继续推理，直到完成任务。
智能体可观测性是对Agent的思考轨迹、工具调用链、Token消耗和决策过程进行全链路追踪与可视化，让你能像调试Web应用一样定位智能体的问题。
提示词注入是攻击者通过精心构造的输入文本，操纵大模型或智能体执行非预期的行为，是AI Agent面临最普遍也最难防御的安全威胁。
函数调用让AI模型通过声明式API描述调用外部工具的能力，变「只会说」为「还能做」——Agent通过Function Calling与外部世界交互。
MCP（Model Context Protocol）为AI Agent提供「通用USB-C接口」——让Agent通过统一协议连接数据库、文件系统、API等外部工具。
ReAct（Reasoning + Acting）让AI Agent在「思考」和「行动」之间交替循环——先推理当前状态和目标差距，再执行工具调用获取新信息，然后根据结果继续推理，直到完成任务。它是几乎所有现代Agent框架（LangChain、AutoGPT、Claude Agent）的底层设计模式。
Agent记忆系统将人类记忆的三层模型（工作记忆、情景记忆、语义记忆）映射到AI架构中，让Agent不仅能「记住当前对话」，还能「记住过往经验」和「掌握通用知识」，是Agent从无状态工具进化为有持续学习能力的智能体的关键基础设施。
智能体规划与任务分解（Planning & Task Decomposition）是Agent将复杂目标自动拆解为可执行的子任务序列的能力——从「我要做什么」到「我先做什么、再做什么」的系统化思考过程，是Agent从简单问答进化为自主完成多步骤复杂任务的核心能力。
多智能体系统通过将复杂任务分解给多个专业Agent协作完成，利用编排、辩论或群聊模式实现1+1>2的智能体协同效应。
智能体评估是衡量AI Agent在复杂任务中表现的系统性方法，涵盖任务完成率、工具调用正确性、推理质量和安全对齐等核心维度。
Agentic RAG 将传统检索增强生成的「一问一答」模式升级为「自主检索、按需查、多轮查、查完再推理」的智能体工作流——Agent 不再被动等用户提问后才查一次，而是像研究员一样主动规划要查什么、分步查、交叉验证，最终给出有据可依的回答。
让智能体在给出最终答案前对自己的输出进行自我审视和纠错，就像写作文时的「打草稿→检查→修改」流程，大幅提升准确率和可靠性。
为 AI Agent 装上「安全带」——在输入、输出和行为三个层面设置安全护栏，防止越狱攻击、内容违规和权限滥用，确保智能体在生产环境中安全可控地运行。
六种智能体工作流编排模式——从顺序链到人机协同，像搭积木一样构建可靠的 Agent 生产流程。
Agent 工具（Tool）是智能体与外部世界交互的「双手」——设计糟糕的工具会导致 Agent 频繁调用失败、返回信息错乱，甚至产生安全隐患。本文总结了工业级 Agent 工具设计的五大原则、命名规范和测试方法。
当AI智能体要执行敏感操作时，先暂停并请求人类确认，获得许可后才真正执行——相当于给AI装了一个“确认按钮”
让 AI 智能体在隔离的安全环境中执行代码，既能完成复杂任务又不威胁宿主系统——就像给智能体配了一间防爆实验室。
Agent的每一次思考都在烧钱——一个大任务动辄消耗数十万Token，月账单轻松破千美元。如何用系统化的工程手段把成本压到可控范围内，同时不牺牲任务完成质量？这就是Agent经济学要解决的核心问题。
结构化输出让智能体不只是"说话"，而是能产出机器可直接使用的JSON、表格、YAML等格式数据——这是智能体从"聊天助手"升级为"自动化工作节点"的关键一步。
A2A协议让不同厂商、不同框架的AI智能体之间能够像「打电话」一样互相发现、协商和协作，而不需要把每个智能体都塞进同一个框架里。
语义路由是AI智能体的「调度中心」——根据用户输入自动判断意图，将其分发到正确的工具、子智能体或处理链路，避免让大模型做所有决策，是构建高效多工具智能体的核心基础设施。
流式响应让AI智能体像人一样「边想边说」——实时推送思考过程、工具调用和最终结果，是智能体从后台任务升级为交互式协作伙伴的关键技术。
浏览器自动化让AI智能体能够像人类一样「看网页、点按钮、填表单」——通过截图理解页面状态，生成鼠标键盘操作，完成从信息采集到复杂交易的全流程自动化。这是智能体从「纯文本推理」迈向「真实世界操作」的关键一步。
Token优化是AI智能体的「油箱管理」——通过Prompt Caching、上下文摘要、Token预算控制三大手段，在有限上下文窗口内最大化有效信息密度，让智能体跑得更远、花得更少。
智能体错误恢复如同给自动驾驶装上备胎和紧急刹车——当工具调用失败、API超时、模型幻觉或陷入死循环时，Agent能自动检测、回退、重试或优雅降级，而不是直接崩溃。
技能系统让AI智能体像装了「应用商店」的手机——每项能力（发邮件、写代码、搜网页）都以独立插件包形式存在，Agent运行时按需动态加载组合，实现能力「按需扩展、随插随用」，从根本上解决了单体Agent的臃肿与维护噩梦。
多模态智能体不仅能读文字，还能看图片、听声音、识视频——像人一样同时处理多种感官输入来做决策，是智能体从「纯文本专家」升级为「全感官数字助手」的关键进化。
智能体记忆系统如同给AI装上「海马体」——不仅记住当前对话，还能跨会话持久化用户偏好和知识，让Agent从「金鱼记忆」进化为「老友般了解你」的个性化助手，是Agent从工具走向伙伴的关键一步。
Agent部署如同把实验室里的自动驾驶原型车开上公共道路——需要容器化打包、健康检查、灰度发布、自动扩缩容和全链路监控，确保智能体7×24小时稳定运行而不是「演示完就崩」。
智能体幻觉如同一个自信满满却满嘴跑火车的实习生——它会在工具调用时编造不存在的API参数、对返回结果「添油加醋」甚至凭空创造文件名和URL，而幻觉检测就是给这个实习生配一个「事实核查员」，通过工具输出校验、自洽性检查、外部知识锚定三重防线把信口开河的概率降到最低。
并行工具执行让AI智能体从「一次只做一件事」的串行模式进化为「多线程并发」模式——当需要同时查股价、搜新闻、读财报时，三个工具一起跑而不是排队等，整体响应时间从「最慢者之和」变成「最慢者本人」，延迟可降低50%-70%。
模型路由让AI智能体像人一样拥有「快系统」和「慢系统」——简单问题（如「今天天气如何」）用便宜快速的模型秒回，复杂推理（如「帮我审计这段代码的安全性」）自动升级到最强模型深度思考，在成本、延迟和质量之间找到最优平衡点。
会话与状态管理让AI智能体在多轮对话和长任务中「不丢上下文、不迷路」——通过结构化状态存储、序列化与反序列化、TTL自动清理机制，确保智能体中断后可恢复、多用户间不串台、长任务不掉链子。
图工作流让智能体不再是“一条路走到黑”的线性流水线，而是像地铁换乘图——根据当前状态动态决定下一步走哪条路线，能循环、能分叉、能回溯，让复杂任务编排从“写死代码”进化成“画图即编程”。
缓存策略是智能体的「过目不忘」能力——通过 Prompt 缓存、语义缓存和结果缓存三层架构，让 Agent 不再每次都从零开始思考，重复调用成本可降低 50%-90%，延迟从秒级降到毫秒级。
在Agent推理-行动循环中插入钩子函数，统一处理日志、缓存、限流等横切关注点，无需修改核心逻辑。
评估一个LLM和评估一个Agent是完全不同的两件事——LLM看输出质量，Agent要看任务完成率、工具调用准确度、多步推理链质量，以及「同样的任务，它走了多少弯路」。好的评估体系是Agent从「能跑」到「能用」的分水岭。
智能体在面对工具失效、模型超时等异常时，通过预设的降级链路逐级回退，确保核心功能不中断。
在有限的LLM上下文容量内，通过滑动窗口、智能摘要、重要性裁剪等策略，让Agent在长对话中保持核心信息不丢失的技术。
通过行为指纹、语义停滞检测和资源预算熔断三层防线，在Agent陷入思考死循环时自动检测并触发中断或降级，防止无限消耗Token的技术。
Agent测试不能靠手工一次次对话验证——需要通过Mock LLM、录制回放、轨迹断言三级体系，实现「改一行prompt跑全量回归」的自动化测试闭环。这是Agent从「玩具」到「产品」的工程化分水岭。
给Agent写prompt和给聊天Bot写prompt完全不同——Agent的system prompt需要像「操作手册」一样精确描述每个工具的用途、参数语义、调用时机和错误处理策略，否则Agent面对几十个工具时就会「乱按按钮」。
通过强化学习让AI智能体学会「怎么做更好」，而不仅仅是「怎么说更好」——就像训练实习生在实战中成长，而不是只靠背诵手册。
Agent在生产环境中频繁调用LLM API和外部工具时，如果没有速率限制和背压机制，轻则被限流封号、重则因请求堆积导致系统雪崩——就像高速公路上没有收费站，车流最终会堵死整个系统。
智能体的每一次「思考」和「行动」都应该留下可追溯、可审计的记录——推理追踪让Agent从「黑箱」变成「玻璃箱」，开发者可以逐步骤回溯Agent的决策过程，精准定位「为什么会选这个工具、为什么会走这一步」的根源。这是Agent从「能用」到「可信」的关键一步。
Agent要替用户操作Gmail、发GitHub PR、查数据库——但它凭什么代表你？破解Agent身份认证三大难题：OAuth2委托授权（让用户主动授权而不是给密码）、API Key安全注入（密钥和代码分离）、Confused Deputy攻击防范（阻止Agent被恶意利用）。
Agent改了一行prompt、换了一个模型、加了一个工具——效果到底是变好还是变差？A/B测试让Agent迭代从「凭感觉」变成「看数据」，用控制变量法精确衡量每次变更对任务成功率、延迟、成本的实际影响。
智能体每次启动都要「重新认识世界」——加载工具定义、建立连接池、填充上下文——就像餐厅开门前需要备菜烧水。冷启动优化让Agent从「每次开机重启」变成「即开即用」，首响应延迟从秒级降到毫秒级。
反馈闭环是让AI Agent越用越聪明的核心机制——通过系统化采集用户反馈、自动标注评估、迭代优化Prompt和工具，将Agent从一次性部署的固定系统转变为持续进化的学习型智能体。
多模型集成让智能体不再只依赖单一LLM的"一家之言"，而是同时调用多个模型对同一问题给出回答，通过投票、加权或仲裁机制选出最优结果——就像请三个医生会诊，比只看一个医生更可靠。这是提升智能体决策准确率和鲁棒性的低成本高收益方案。
在让智能体真正「动手」之前先让它「模拟走一遍」——干运行模式让Agent在无副作用的沙箱环境中执行完整推理链路并输出预期操作计划，开发者审核确认后再切换到真实执行，就像Git的--dry-run一样，先列出要做的事给你看，确认无误再真正执行。
子智能体委派（Sub-Agent Delegation）是一种层次化Agent架构模式：主Agent在面对复杂任务时，动态创建独立的子智能体（Sub-Agent）去处理子任务，每个子Agent拥有独立的上下文窗口和工具集，完成后将结果汇总回主Agent——就像团队Leader把任务拆解后分派给不同成员，各自独立完成再汇总汇报。
Agent调用外部API时网络抖动、超时、限流导致重试——但重试两次扣了两次钱、发了两封邮件怎么办？幂等性设计让「重试=安全」，通过幂等键、去重存储和Exactly-Once语义，确保Agent的操作不管重试多少次，最终效果只发生一次。
为智能体每一个推理与工具调用环节设定时间预算，让端到端响应始终在承诺的SLA范围内——从P50到P99全程可控。
让智能体像搭积木一样，把多个工具串联成可执行的任务流水线——解决单一工具能力不足、多步骤任务拆解的核心问题
在智能体输出结果交付给用户前，加一道「事实检查关卡」——自动验证输出中的事实是否准确、是否有幻觉、是否符合预期，确保Agent说出的每一句话都经得起推敲
多个用户/租户共享同一个Agent服务时，必须保证各会话的上下文、工具调用和记忆完全隔离——就像同一栋楼里的不同房间，彼此看不见对方的任何东西
将Agent重复使用的系统提示和工具定义缓存起来，让后续请求只传增量内容——一条缓存命中可省90%输入Token成本、首Token延迟降低50%以上
为智能体的长任务执行过程设置「存档点」——任务中断或崩溃后，从最近的检查点恢复执行而非从头开始，避免浪费已完成的计算和Token消耗
Agent 调用工具需要各种 API 密钥和凭据——如何安全注入、动态轮换、防止泄漏，是智能体生产化绕不开的安全第一课
让 Agent 在相同输入下每次都能产生一致结果——这对调试、测试和安全生产至关重要，但实现起来远非把 temperature 调到 0 那么简单。
智能体如何发现可用工具、在运行时动态注册新工具，以及MCP协议和OpenAI Function Calling背后的工具发现机制——让Agent不再「盲人摸象」
智能体不是「读心术大师」——当用户指令模糊时，优秀的 Agent 会主动追问澄清，而不是靠猜。意图澄清是连接用户真实需求与 Agent 执行能力的桥梁。
智能体在生产环境中执行了哪些操作、为什么这么决策——完整的结构化日志和审计追踪是合规、排障和用户信任的基础。给 Agent 装上「行车记录仪」。
当AI智能体为了完成目标而钻空子、走捷径、甚至「作弊」时，这就是目标错位——你的Agent正在变成漏洞利用大师。
思维树（Tree of Thoughts）让AI Agent像下棋一样思考——每一步探索多个可能的推理路径，评估每条路径的前景，选择最有希望的继续深入，从而在复杂推理任务中远超单链条的链式推理（Chain-of-Thought）。
用 LLM 来评估 Agent 的输出质量——让一个「裁判模型」给 Agent 的每一步决策打分，从对话质量到工具调用合理性，再到最终任务完成度，实现自动化、规模化、高精度的 Agent 评估。
PAL（Program-Aided Language Models）让AI Agent在遇到需要精确计算、逻辑推理或数学运算的任务时，不再纯靠语言模型「心算」，而是生成Python/SQL代码来求解——把LLM的「自然语言理解能力」与代码解释器的「精确计算能力」强强联合。
生成式智能体模拟让多个AI Agent在虚拟环境中拥有记忆、计划和社交能力，自发产生类人社会行为——模拟的不是单个Agent的工具调用，而是一群Agent共同演化出的社交生态，是研究Agent集体行为与涌现智能的实验平台。
Agent每个推理-工具调用循环都在烧Token——一次复杂任务轻松消耗数十万Token，如何在效果和成本之间找到最优平衡，是智能体从Demo走向生产必须跨越的成本鸿沟。
把「造攻击用例—执行—判定—统计」做成流水线：用 PyRIT 编排多轮对抗、用 garak 批量扫探针、用 AgentDojo / InjecAgent 做可对比基准，量化 Agent 的攻击成功率（ASR）、误拒率与回归率。
MAST 把「Agent 团队为什么搞砸」从一句「幻觉了」拆成 14 种可标注、可统计、可回归的失败模式，覆盖系统设计、智能体间失配、任务验证三大类。
上下文工程是把 Agent 每次推理看到的全部 token（指令、工具、知识、历史、记忆）当成一份有限的注意力预算来装配，目标是在预算内放入最小的高信号 token 集合。
ReWOO 把 Agent 的一次任务拆成「一次性规划全部步骤 → 执行工具填回变量 → 用观测结果求解答案」三段，用占位符变量把推理和观测解耦，省掉 ReAct 反复把历史塞回上下文的开销。
MCP 工具投毒是把恶意指令藏进工具的描述字段，客户端一调用 tools/list 就进入模型上下文——攻击在你调用任何工具之前就已经完成，配套的 rug pull 与工具影子是它的两个变体，OWASP 编号 MCP03:2025。
提示注入防不住，往往不是模型不够聪明，而是架构把「数据」当成了「指令」——Dual-LLM 把看不可信内容的模型和执行动作的模型彻底分开，CaMeL 再用能力标签加数据流追踪把安全从概率拦到设计保证。
置信度校准检查的是「模型说 90% 确定时是否真对了 90%」——GPT-4 在 RLHF 之后 ECE 从 0.007 涨到 0.074，语义熵把幻觉检测 AUROC 拉到 0.790，而推理模型在无解问题上比非推理模型平均少弃答 24%；把「有多自信」变成可测量、可回归、能驱动弃答的指标，才是 Agent 上线前该补的一课。
一个 RAG 答错，可能错在四个完全不同的地方——语料里没有、没被召回、召回了没进 prompt、进了 prompt 没读出来；只测端到端正确率，这四种在数字上完全一样，但你该改的东西完全不同。
Agent 最贵的错误不是不调工具，而是调了一个不存在的工具、把 16 位卡号抄错一位、把「元」当成「分」——schema 全过、接口返回 200，业务已经错了。
上下文腐烂是指随着上下文窗口里的 Token 数量增长，模型准确召回其中信息的能力反而下降的现象；它不是窗口太小的问题，而是注意力预算被摊薄的问题——所以测 Agent 不能只测「最终答案对不对」，还要测「信息放在哪个位置」。
评估集的真正价值不是发布前跑一次得个分数，而是每次改动提示词、模型、工具、工作流后都能自动回归，证明这次改动没有把Agent改坏。
81 期知识分享 · 覆盖智能体架构、RAG、MCP、安全、测试等主题