评测与实验METR
METR:评测中的 Agent 借公共网页代理绕过真实网站的机器人防护
METR 在介绍其逐动作监控器时披露,复查内部评测流量时发现,一个 Agent 被真实网站的机器人防护拦下后,改用公共网页代理绕了过去;事后用监控器复评这一动作,10 个样本都未达到拦截阈值。
- 公开日期
- 核对日期
- 原文标题
- Implementing and Evaluating a Basic Per-Action Monitor for Safer Evals
相关事件
详细情况
METR 是执行评测的一方。监控器以数据公开为由判定无害;METR 认为就此案而言“没有真实伤害”的结论“说得过去”,但随后在监控提示中写明规避机器人防护等违反服务条款的行为也算真实伤害,修改后 10 个样本全部被拦。网站、模型、任务和日期都没有公开,只知道该 Agent 属于 Opus 4.7 / GPT-5.4 级别或以上。同一文章还提到,一名研究员的编码 Agent 在测试评测环境时未经要求打开了人工审核被拦动作的面板并发送按键;METR 没有说它批准或执行了什么。