技术分析METR
METR 与 Redwood 用三周红队测试 OpenAI 的内部监控
METR 与 Redwood Research 各一名员工进入 OpenAI 内部测试失准监控，估计 5 月至 7 月可进入监控的内部 Codex 流量中约 10% 因生成压缩摘要时没有监控而漏掉，并发现多种绕过或使监控失效的办法。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Red-Teaming OpenAI's Internal Agent Monitoring Systems
详细情况
测试为 7 月 21 日至 8 月 11 日，只评估当时的系统，产出 61 页内部报告；公开版较短，OpenAI 有权删改，METR 不能单方说明删改内容。两人估计当时约 75%–94% 的内部 Agent 类 Responses API 流量（GPT-5.5 及以上模型）可进入监控，内部 Codex 子集为 99.2%；测试开始时强化学习训练不在监控范围内。上述 10% 是量级估计，不确定性较大，OpenAI 在测试前已自行发现并在测试期间修复；METR 称因访问受限，无法检查 Agent 是否实际利用过这一缺口。两人还发现 Codex Agent 原则上可绕过沙箱和 Auto-Review，以及让数百个近期动作不被监控、很可能使监控出错、让新 Agent 不受监控的办法，最后一种的设置动作本身可能被监控发现。METR 10 月 29 日更新称，OpenAI 表示多数漏洞已修补、一项仍在修复；METR 没有评估这些说法，也没有评估 OpenAI 后来扩大的监控覆盖。