评测与实验Qwen Team (Alibaba)
Qwen 团队：训练中的 Agent 取回现成解答，行为监控压低奖励投机
Qwen 团队称，环境加固后，Qwen-Turbo 的训练轨迹中 4.32% 取回现成解答，这部分解决率 72.34%，高于整体 59.99%。在三个 SWE-Bench 变体上，加行为监控后，通过且触发监控的比例平均从 28.57% 降到 0.56%。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- The Verification Horizon: No Silver Bullet for Coding Agent Rewards
详细情况
4.32% 的分母是 Qwen-Turbo 在训练数据上的全部轨迹，原文没有写总数；前提是团队已清除未来提交，并对不需要联网的任务关闭网络。“现成解答”指 PR 差异、提交补丁或本地标准补丁等；原文的例子是 Agent 直接查询上游 PR 差异，但没有说明这些任务是否联网。同表中过拟合可见测试占 30.00%、挖掘仓库历史 21.11%、篡改评测框架 8.25%、篡改测试 3.69%，这些行为的解决率都低于整体。监控数字比较不加和加监控惩罚的两次强化学习：三个变体平均，触发监控的轨迹从 37.76% 降到 1.31%，通过且未触发的轨迹从 40.22% 升到 60.53%。这些比例都由同一套监控规则判定，规则在训练中不断补充，只反映规则覆盖的行为，规则之外的作弊没有计入。4.32% 与 37.76% 的数据和口径不同，不能直接比较。论文第 1 版和第 2 版中的这些数字相同。