Tree of Thoughts (ToT)/ 思维树推理

Tree of Thoughts（ToT）让AI Agent像下棋或解谜一样思考——在推理的每一步，同时探索多条可能的「思维分支」，评估每条分支的价值，只深入最有希望的方向，从而在需要回溯、试错和创造性探索的复杂任务中，大幅超越传统的单链条推理（Chain-of-Thought）。

思维树将推理过程建模为树形搜索问题，每条「思维」是一个节点，节点之间通过边连接形成推理路径。核心流程分为四步：

**1. 思维生成（Thought Generation）** — 给定当前状态（如已推理了哪些步骤），模型生成K个候选「下一步推理方向」。生成策略有两种：独立采样（从同一提示中多次采样得到多样化思路）和序列提议（使用不同的提示词引导不同的推理方向）。K值通常取3-8。

**2. 状态评估（State Evaluation）** — 对每个候选思维节点进行价值打分。评估方式有：价值提示（让LLM直接给出0-1或文字评分，如「sure/likely/impossible」）和投票（从同一状态模拟继续推理到结束，多数结果一致的方向得分更高）。后者比前者更准确但成本也高K倍。

**3. 搜索策略（Search Strategy）** — 决定如何遍历这棵树。BFS（广度优先）保留每层Top-B个节点，适合需要全局最优解的任务；DFS（深度优先）一路探索到底后再回溯，适合没有明确终点的探索性任务。实际常用的是Beam Search（每层保留N个最优节点）。

**4. 回溯与剪枝（Backtrack & Prune）** — 当某条路径的评估分数下降到阈值以下，Agent放弃该分支并回溯到上一层的其他节点继续探索。同时，相似或重复的思维节点会被自动合并或剪枝，避免重复搜索。

以下是4项可直接操作的思维树推理测试方法：

**测试一：24点游戏（Game of 24）**

• 操作：给Agent 4个数字（如 4, 9, 10, 13），要求用加减乘除算出24。分别用标准提示、CoT（链式思维）、ToT（思维树）三种方式运行各100题

• 工具：OpenAI API + 自定义24点题目集（https://github.com/princeton-nlp/tree-of-thought-llm）

• 指标：解题成功率（ToT可达74%，CoT仅4%）、平均推理步数、回溯次数

**测试二：创意写作评估**

• 操作：让Agent撰写5段创意故事，每段结尾生成K=3个不同方向的故事延续方案，评估后选最优继续

• 工具：OpenAI Playground（https://platform.openai.com/playground）或Claude API

• 指标：人类评审一致率（3人盲评），思维多样性分数（不同分支间的语义距离），分支评估准确率

**测试三：迷你填字游戏（Crossword Puzzle）**

• 操作：给定部分填好的5x5迷你填字格和线索，让Agent用ToT推理完成——每步尝试多个候选词，评估与交叉位置的匹配度后选最优

• 工具：自定义评测脚本 + LangChain（https://www.langchain.com）

• 指标：填字完成率（ToT vs CoT）、单格正确率、无效尝试次数

**测试四：搜索效率与成本对比**

• 操作：用同一任务（如上测试一的24点游戏）运行ToT(Beam width=5, K=5)、ToT(Beam width=3, K=3)和标准CoT各50次，记录Token消耗和成功率的帕累托前沿

• 工具：LangSmith（https://smith.langchain.com）追踪每个推理调用，W&B记录成本

• 指标：成功率/成本比（Success per $1）、Token效率（成功解题的平均Token消耗）、搜索膨胀系数（ToT Token用量 ÷ CoT Token用量）

1. 思维生成过度发散 — K值设太大（如K=10）时生成的候选思维倾向于重复或无关，导致大量Token浪费在无效探索上。实际生产环境K=3~5即可，且应在提示中明确要求生成的思维必须「互不相同、各有独特推理角度」。

1. 评估函数不够可靠 — LLM自评的思维价值分往往偏向「表面合理」而非「真正正确」，尤其对于数学推理任务时。改进方法：让模型评估前先执行一步推理验证（如计算中间结果），用验证结果辅助评分；或采用「投票评估法」——从候选思维模拟完成整条推理路径，看多数结果倾向哪种思维。

1. 搜索深度与Token预算的矛盾 — 树的深度每增加一层，Token消耗呈指数级增长（Beam Width × K × 每步推理Token数），深度3层、Beam Width=5、K=3的ToT一次可能消耗10万+ Token。解决方案：对简单推理层用CoT跳过（动态深度）、设置全局Token预算上限并提前终止低分分支。

• Tree of Thoughts 原论文（Yao et al. 2023）: https://arxiv.org/abs/2305.10601

• Princeton NLP 官方 ToT 实现（GitHub）: https://github.com/princeton-nlp/tree-of-thought-llm

• Lil'Log 解读：思维树推理: https://lilianweng.github.io/posts/2023-05-24-tot/

• Google DeepMind 的 Graph of Thoughts 扩展: https://arxiv.org/abs/2308.09687

• LangChain ToT 实现示例: https://python.langchain.com/docs/how_to/tree_of_thoughts/