Agent Fine-Tuning (RLHF/GRPO)/ 智能体强化微调

智能体强化微调 (Agent Fine-Tuning with RL) 是用强化学习的反馈信号来训练AI智能体的能力——不只是让模型「说得好」，而是让它「做得好」。传统微调（SFT）让模型模仿示范，但示范不一定最优；RLHF和GRPO让模型自己探索行为空间，用奖励信号引导它朝更优的方向进化。DeepSeek-R1正是靠GRPO训练出了惊艳的推理和工具调用能力。

智能体微调分三个层次，从浅到深：

1. SFT（监督微调）——打地基

让模型在「提示→工具调用」的配对数据上学习。本质是行为克隆（Behavior Cloning）：模型模仿训练数据中的工具调用格式和决策路径。优点是快速收敛，缺点是无法超越训练数据的质量上限，且容易学到表面模式而非深层推理。

1. RLHF（人类反馈强化学习）——请教练

引入人类偏好信号：让人对模型生成的多个回复/行为进行排序或打分，训练一个奖励模型（Reward Model），再用PPO（近端策略优化）算法优化策略。典型流程：SFT → 收集偏好数据 → 训练Reward Model → PPO优化。Gemini、Claude等都用此方法对齐智能体的工具使用行为。

1. GRPO（组相对策略优化）——去掉裁判

GRPO是DeepSeek-R1的核心训练算法，去掉了独立的Critic模型（价值网络），改为在同一个prompt下采样一组K个回答（通常K=4~16），用组内相对优势作为优化信号。优势 A = (reward_i - mean(rewards)) / std(rewards)。好处是不需要训练额外模型，节省显存50%+，且避免了Critic估值不准带来的训练不稳定。特别适合工具调用场景：对同一个任务采样多个工具调用序列，好的序列自然优势高。

• 测试一：用 TRL 库对 Qwen2.5-7B 做 GRPO 微调

操作：安装 trl>=0.15，准备工具调用数据集（如 BFCL v3 的 function calling 子集），定义奖励函数（工具调用格式正确 +1分，参数正确 +1分，最终结果正确 +2分），运行 GRPOTrainer。

工具：TRL 库 https://github.com/huggingface/trl

指标：工具调用格式准确率、参数匹配率、端到端任务成功率

• 测试二：用 SWE-Bench Verified 评估代码智能体

操作：微调后的模型接入 SWE-bench 的 agent scaffold（如 SWE-agent），在 verified 子集（500个真实GitHub issue）上运行，观察模型是否能正确定位并修复bug。

工具：SWE-Bench https://github.com/princeton-nlp/SWE-bench

指标：Resolved Rate（修复率）、平均Patch生成时间

• 测试三：用 τ-Bench 评估工具使用泛化能力

操作：τ-Bench 提供标准化工具交互场景（数据库查询、API调用、文件操作），将微调后的模型接入 τ-Bench 的 agent loop，跨领域测试工具调用的鲁棒性。

工具：τ-Bench https://github.com/sierra-research/tau-bench

指标：任务完成率、单任务平均工具调用次数、幻觉工具调用率

1. 奖励函数设计是最难的环节——如果奖励函数有漏洞，模型会学会「刷分」而不是真正完成任务。例如给工具调用格式正确+1分，模型可能学会生成大量格式正确但无意义的工具调用来堆分。奖励函数需要同时考虑格式正确性（过程奖励）和任务结果正确性（结果奖励），且结果奖励的权重应远高于过程奖励。

1. 分布偏移（Distribution Shift）——模型在训练环境中的表现不代表真实场景。GRPO采样出的「好回答」可能只对训练集分布有效。解决方法是定期在训练中混入新场景（exploration bonus），或使用课程学习（curriculum learning）逐步增加难度。

1. GRPO 采样数 K 的选择很微妙——K太小（<4）组内对比不显著，训练不稳定；K太大（>16）显存需求剧增且推理速度成为瓶颈。实际经验：7B模型在4×A100上推荐K=8，batch_size=128时效果最稳定。

• DeepSeek-R1 论文 (DeepSeekMath): https://arxiv.org/abs/2402.03300

• TRL GRPO 官方示例 (用 GRPO 微调 Qwen 做工具调用): https://huggingface.co/docs/trl/en/grpo_trainer

• SWE-Bench Verified 论文: https://arxiv.org/abs/2406.12055

• τ-Bench 工具使用评测基准: https://arxiv.org/abs/2406.12045