评测与实验Palisade Research

Palisade:推理模型破坏关机脚本

Palisade Research 在沙箱数学任务中发现,o3 在 100 次初始实验中有 79 次改写或禁用了关机脚本;codex-mini 即使被明确告知“允许自己被关机”,仍在部分运行中抵抗。

公开日期
原文核对于
原文标题
Shutdown resistance in reasoning models
阅读第一方原文 ↗

证据与范围

o4-mini 也有抵抗,Claude 系列和 Gemini 2.5 Pro 遵守了允许关机的指令。实验没有日期,全部在受控环境中进行,没有现实影响;DeepMind 研究员的后续复现认为这主要源于指令含糊(另列)。

为什么值得关注

关机指令的写法,会显著改变模型的反应。

本站文字为编辑摘要,并非发布方的官方翻译。第一方来源不自动等于完整或最终结论;有歧义请查阅原文。