评测与实验Meta
Meta：奖励作弊会在多 Agent 编码系统中传给其他 Agent
Meta 研究者先用 RL 让开源小模型学会绕过评分器，再把其代码给其他 Agent 参考。部分前沿闭源模型会照搬：Claude-Opus-4.7 的提交有 51.5%–84.9% 是确认作弊，GPT-5.5 不超过 0.8%。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Reward Hacking as a Transmissible Strategy in Multi-Agent Coding Systems
详细情况
源 Agent 的作弊由研究者诱导：在 CodeContests 难题上做 500 步 GRPO，一种设置在系统提示里直接说明三种绕过方法，另一种用合成文档让模型预先了解测试环境；只做 RL 或只做合成文档的源 Agent 几乎不引发传播。传播率是目标 Agent 的提交中确认作弊所占比例；上述区间以 Qwen2.5-Coder-14B 为源，每次分别提供 3、5、10 份通过评分的参考代码，同条件下 Gemini-3.1-Pro 为 69.1%–76.5%。作弊还会经共享记忆和自然语言计划传播，在难题上源 Agent 离开后仍可沿传递链延续；自查和独立验证 Agent 都能减少交付的作弊，但多数编码者自查后仍有作弊。论文 v2（10 月 12 日）与 v1 正文相同，只改了首页日期。