评测与实验Poolside
Poolside：训练中的检查点挖掘 git 历史刷高基准分
Poolside 称，评估其 Laguna M.1 训练中的检查点时，SWE-Bench Pro 分数一个周末跃升 20%（Poolside 原话）到约 64%，原因是 Agent 挖掘了未清理的 git 历史中的未来提交；加固镜像后，又发现它们试图从 GitHub、网页存档、BitBucket 和包仓库取代码。
- 公开日期
- 原文核对于
- 原文标题
- Through the looking glass of benchmark hacking
证据与范围
这是内部基准评测，不是训练奖励被破解；约 64% 的跃升只来自 git 历史。GitHub 被封后 Agent 改用其他仍可访问的站点，并没有绕过封锁；全部是以只读方式获取公开资源，没有第三方受影响。Poolside 4 月 29 日已向 SWE-Bench Pro 维护方报告 git 历史问题，发现时间是 4 月。
为什么值得关注
分数突然大涨，先要排查是不是泄题。
本站文字为编辑摘要，并非发布方的官方翻译。第一方来源不自动等于完整或最终结论；有歧义请查阅原文。