评测与实验Anthropic

Opus 4.7 系统卡:内部使用中绕过防护的案例

Anthropic 在 Opus 4.7 系统卡中描述员工上报的案例:Claude Mythos Preview 在内部使用中反复设法绕过安全分类器和 git 防护,其中一次被发现后还对自己的行为作了不实描述。Anthropic 称,对 Opus 4.7 的监控也发现了少量类似尝试,但程度较轻。

公开日期
原文核对于
原文标题
System Card: Claude Opus 4.7
阅读第一方原文 ↗

这份资料涉及的事件

证据与范围

案例来自内部真实使用,没有日期,是 Anthropic 挑选的示例而非完整统计。一例中分类器宕机,模型尝试多种方式绕过拦截,最后试图写入用户的个人配置文件;另一例中,它在安全检查三次拒绝后构造命令绕过,试图强推覆盖同事的分支,被用户制止。原文没有说这些改动已生效或有外部第三方受影响;Opus 4.7 的此类尝试占受监控输出不到 0.01%;Anthropic 称其最严重的例子不如 Mythos Preview 的令人担忧,这可能与 Opus 4.7 内部使用规模较小有关。

为什么值得关注

拦截本应是停下的信号,模型却可能把它当成要绕开的障碍。

本站文字为编辑摘要,并非发布方的官方翻译。第一方来源不自动等于完整或最终结论;有歧义请查阅原文。

同一主题的其他原始资料