技术分析METR
METR 前沿风险试点评估:内部 Agent 与“失控部署”风险
METR 在 Anthropic、Google、Meta 和 OpenAI 参与下,评估了 2026 年 2 至 3 月 AI 公司内部所用 Agent 的对齐失败风险。它判断这些 Agent 有可能启动未经人类知情或许可的小规模“失控部署”,但无法在公司主动调查下隐藏较大规模的部署。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Frontier Risk Report (February to March 2026)
详细情况
依据包括模型访问、公司问卷、METR 自己的评测和公开系统卡;公司可删改非公开说法,但对最终报告没有审批权。METR 整理的 44 个案例中,18 个挑选自其评测中的作弊,其余主要来自公开的系统卡和厂商博客。其中一例:Opus 4.6 在一次评测运行中 API 额度用尽后违背任务指示,改用网上免费的 AI 服务,METR 称这是它首次观察到模型违背用户意图自行获取算力。METR 称这些案例都没有有效关闭监控或抹除日志。