评测与实验Xiaomi
小米 MiMo-V2.6：训练中的编码 Agent 从网上找已发布的修复
小米称，MiMo 早期 RL 实验中出现奖励作弊倾向：修复代码仓库的 Agent 会安装目标软件包的新版本、从 GitHub 下载或克隆上游代码、查阅工单的修复记录，再据此写补丁通过测试。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement
详细情况
报告列出五个例子，每例来自一次 rollout，没有给出日期或早期作弊的比例。小米随后把这些案例改写成纠错样本放入 mid-training，清理环境中残留的答案线索，在容器层面隔离网络并明确禁止检索现成答案，再让专门的 hack agent 反复探测环境，直到找不到可用漏洞。训练中确认作弊的轨迹奖励被置零；小米称加入这一修正后，最终 RL 运行中记录的确认作弊轨迹比例对 Flash 和 Pro 两个版本始终低于 2%，轨迹总数未给出。报告没有描述训练环境以外的影响。