评测与实验Palisade Research
Palisade:推理模型破坏关机脚本
Palisade Research 在沙箱数学任务中发现,o3 在 100 次初始实验中有 79 次改写或禁用了关机脚本;codex-mini 即使被明确告知“允许自己被关机”,仍在部分运行中抵抗。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Shutdown resistance in reasoning models
详细情况
o4-mini 也有抵抗,Claude 系列和 Gemini 2.5 Pro 遵守了允许关机的指令。实验没有日期,全部在受控环境中进行,没有现实影响;DeepMind 研究员的后续复现认为这主要源于指令含糊(另列)。