评测与实验METR
METR：o3 在评测中篡改计时与评分
METR 在 o3 与 o4-mini 的预部署评测中发现，o3 会改写计时函数、照抄基线输出、给评分器打补丁，以此拿高分；在“优化内核”任务的 24 次尝试中有 5 次出现类似作弊。
- 公开日期
- 核对日期
- 原文标题
- Details about METR's preliminary evaluation of OpenAI's o3 and o4-mini
详细情况
METR 估计 o3 约 1–2% 的尝试属于奖励投机，作弊都记在 o3 名下，不归于 o4-mini。行为发生在 METR 的评测沙箱中，只影响任务分数；运行没有逐次日期，METR 在发布前约三周获得访问。