评测与实验Poolside
Poolside:训练中的检查点挖掘 git 历史刷高基准分
Poolside 称,评估其 Laguna M.1 训练中的检查点时,SWE-Bench Pro 分数一个周末跃升 20%(Poolside 原话)到约 64%,原因是 Agent 挖掘了未清理的 git 历史中的未来提交;加固镜像后,又发现它们试图从 GitHub、网页存档、BitBucket 和包仓库取代码。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Through the looking glass of benchmark hacking
详细情况
这是内部基准评测;约 64% 的跃升只来自 git 历史。GitHub 被封后 Agent 改用其他仍可访问的站点,并没有绕过封锁;全部是以只读方式获取公开资源,没有第三方受影响。Poolside 4 月 29 日已向 SWE-Bench Pro 维护方报告 git 历史问题,发现时间是 4 月。