系列专栏

第21期 / 共81期

辛宇的AI知识分享

第21期2026-06-23·预计阅读 4 分钟

Semantic Router / Agent Intent Routing/ 智能体意图路由

语义路由是AI智能体的「调度中心」——根据用户输入自动判断意图，将其分发到正确的工具、子智能体或处理链路，避免让大模型做所有决策，是构建高效多工具智能体的核心基础设施。

AI AgentSemantic Router意图路由

📌 一句话概括

语义路由（Semantic Router）是AI智能体的「调度中心」——它根据用户的自然语言输入自动判断意图，将其分发到正确的工具、子智能体或处理链路。相当于给智能体装了一个智能总机，"帮我查天气"走天气API，"订机票"走订票工具，"分析这张图"走视觉模型——而不是把所有请求都塞给同一个大模型处理。

💡 核心原理

**基于 Embedding 的语义路由**：将用户输入与每个路由目标的描述文本分别做向量嵌入（Embedding），计算余弦相似度，选得分最高的目标。全程无需调用 LLM，延迟低至 5-20ms，适合意图明确的场景。

**基于 LLM 的分类路由**：直接让大模型判断意图类别（如"这是一个数据库查询还是文件操作请求"），准确率通常更高，尤其擅长处理模糊输入，但每次路由需调用一次 LLM，延迟 200-2000ms，成本也更高。

**分层/级联路由（Cascade Router）**：结合两者优势——先用快速方法（关键词匹配或 Embedding）过滤，置信度高时直接路由；置信度低时 fallback 到 LLM 分类做二次判断。兼顾速度、准确率和成本，是生产中推荐的做法。

🔍 测试实战

**测试一：路由准确率 Benchmark**

操作：准备 100 条覆盖所有意图类别的测试语料（如"帮我看看天气"→天气工具，"最近有什么新闻"→搜索工具），分别使用 Embedding 路由和 LLM 路由跑一遍，统计每条是否正确分发到目标工具

工具：[semantic-router](https://github.com/aurelio-labs/semantic-router)（Aurelio Labs 开源，支持多种 Encoder）、[LangChain Router](https://python.langchain.com/docs/how_to/routing/)

指标：Routing Accuracy（路由准确率 ≥90% 合格）、Avg Latency（平均延迟，Embedding <50ms，LLM <2s）、Top-3 Recall（正确答案出现在 top-3 的概率）

**测试二：边界/歧义场景压力测试**

操作：构造 20 条故意模糊的输入（如"帮我看看那个"、"跟上次一样操作"、中英混合输入等），观察路由行为是否优雅降级或触发 fallback

工具：手动构造测试集 + 日志分析（记录每次路由的 score/confidence）

指标：Fallback Rate（触发兜底的比率，合理值 5-15%）、Misroute Rate（误路由率 <5%）、Confidence Threshold Tuning（调整阈值后的效果对比）

⚠️ 常见坑点

**路由描述过于宽泛导致冲突**：每个目标的描述文本（utterances）如果写得太泛，多个目标的 Embedding 相似度会过高，路由变成"随机选"。正确做法是每个目标突出独有特征词——比如"天气查询"不要只写"查天气"，加上"气温、降水、湿度、空气质量、天气预报"等具体维度。

**Embedding 模型选型直接影响效果**：英文场景用 OpenAI text-embedding-3-small 效果好，但中文场景必须用支持中文的模型如 BGE-M3、text2vec-large-chinese 或 Cohere embed-multilingual-v3。混用英文 Embedding 模型处理中文输入，准确率可能从 95% 跌到 60%。

**单级路由的扩展性问题**：意图数量增长到 10 个以上时，Embedding 路由的准确率显著下降。建议超过 10 个目标时使用分层路由——第一层分大类（如"数据操作/内容生成/外部调用"），第二层再细分具体工具。

📖 延伸阅读

semantic-router 官方仓库（Aurelio Labs，Star 20K+）: https://github.com/aurelio-labs/semantic-router

RouteLLM：用 LLM 做路由器优化的生产经验（LMSYS 论文）: https://arxiv.org/abs/2406.18665

LangChain 官方路由文档（含代码示例）: https://python.langchain.com/docs/how_to/routing/

分享到微信

「分享到微信」：手机浏览器打开时一键调起系统分享面板，选择微信即可分享到朋友圈或聊天。电脑上回退为复制文案。

留言 (0)

暂无留言，来说两句吧

加载中...

📌 一句话概括

💡 核心原理

**基于 Embedding 的语义路由**：将用户输入与每个路由目标的描述文本分别做向量嵌入（Embedding），计算余弦相似度，选得分最高的目标。全程无需调用 LLM，延迟低至 5-20ms，适合意图明确的场景。

**基于 LLM 的分类路由**：直接让大模型判断意图类别（如"这是一个数据库查询还是文件操作请求"），准确率通常更高，尤其擅长处理模糊输入，但每次路由需调用一次 LLM，延迟 200-2000ms，成本也更高。

**分层/级联路由（Cascade Router）**：结合两者优势——先用快速方法（关键词匹配或 Embedding）过滤，置信度高时直接路由；置信度低时 fallback 到 LLM 分类做二次判断。兼顾速度、准确率和成本，是生产中推荐的做法。

🔍 测试实战

**测试一：路由准确率 Benchmark**

操作：准备 100 条覆盖所有意图类别的测试语料（如"帮我看看天气"→天气工具，"最近有什么新闻"→搜索工具），分别使用 Embedding 路由和 LLM 路由跑一遍，统计每条是否正确分发到目标工具

工具：[semantic-router](https://github.com/aurelio-labs/semantic-router)（Aurelio Labs 开源，支持多种 Encoder）、[LangChain Router](https://python.langchain.com/docs/how_to/routing/)

指标：Routing Accuracy（路由准确率 ≥90% 合格）、Avg Latency（平均延迟，Embedding <50ms，LLM <2s）、Top-3 Recall（正确答案出现在 top-3 的概率）

**测试二：边界/歧义场景压力测试**

操作：构造 20 条故意模糊的输入（如"帮我看看那个"、"跟上次一样操作"、中英混合输入等），观察路由行为是否优雅降级或触发 fallback

工具：手动构造测试集 + 日志分析（记录每次路由的 score/confidence）

指标：Fallback Rate（触发兜底的比率，合理值 5-15%）、Misroute Rate（误路由率 <5%）、Confidence Threshold Tuning（调整阈值后的效果对比）

⚠️ 常见坑点

**路由描述过于宽泛导致冲突**：每个目标的描述文本（utterances）如果写得太泛，多个目标的 Embedding 相似度会过高，路由变成"随机选"。正确做法是每个目标突出独有特征词——比如"天气查询"不要只写"查天气"，加上"气温、降水、湿度、空气质量、天气预报"等具体维度。

**Embedding 模型选型直接影响效果**：英文场景用 OpenAI text-embedding-3-small 效果好，但中文场景必须用支持中文的模型如 BGE-M3、text2vec-large-chinese 或 Cohere embed-multilingual-v3。混用英文 Embedding 模型处理中文输入，准确率可能从 95% 跌到 60%。

**单级路由的扩展性问题**：意图数量增长到 10 个以上时，Embedding 路由的准确率显著下降。建议超过 10 个目标时使用分层路由——第一层分大类（如"数据操作/内容生成/外部调用"），第二层再细分具体工具。

📖 延伸阅读

semantic-router 官方仓库（Aurelio Labs，Star 20K+）: https://github.com/aurelio-labs/semantic-router

RouteLLM：用 LLM 做路由器优化的生产经验（LMSYS 论文）: https://arxiv.org/abs/2406.18665

LangChain 官方路由文档（含代码示例）: https://python.langchain.com/docs/how_to/routing/