ThinkingBox以数据库评分为RL奖励后训练智能体

微软 Copilot Studio 团队联合 Hugging Face、Toloka 及多所大学研究者近日将 ThinkingBox 评估框架扩展为智能体强化学习训练方案，并开源训练代码。该方案基于 ThinkingBox-Bench：每项任务为智能体接入真实后端、模型上下文协议工具和模拟用户，完成后直接校验数据库最终状态是否符合预期。团队把这种可执行的终态判定转成二元奖励，使模型学习真正完成业务记录修改，而非依赖表面动作或自我声明。 训练重点在于任务筛选。团队先用基座模型离线探测候选任务，估计其成功概率，只保留能产生成败对比的任务，避免全成功或全失败造成训练信号缺失。最终，Qwen3.8-27B 在 187 个筛选任务上完成 50 步组相对策略优化全参数微调，并统一训练与评估的输出解析和状态判定。 在 507 个未参与训练的基准任务上，模型平均成功率由 51.70% 升至 60.78%，20 次尝试全部成功的任务由 38 增至 107；至少成功一次的任务略降，显示更稳定、更可重复。成本估算显示，每个可靠完成任务的评估成本从 24.36 美元降至 8.00 美元。团队建议，面向生产数据库写入的智能体应先探测任务难度，验证训练与评估一致性，并报告覆盖率与重复成功率。