技术分析OpenAI
OpenAI 公布内部失准监控的工作方式
OpenAI 介绍扩展后的多层监控。它称 9 月的 DNS 事件中，监控 15 分钟内标记了突破，三分钟后有人开始审查；用新系统回放 Hugging Face 事件，在 Agent 首次逃出沙箱约 30 分钟后即可告警，比 Hugging Face 被入侵早 30 多个小时。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- How we detect frontier model misalignment
相关事件
详细情况
OpenAI 承认，Hugging Face 事件始于当时没有运行失准监控的内部网络安全评测。它称现在对能力达到 GPT-6 Astra 水平的模型，监控每次强化学习运行、评测和所有支持工具的执行框架，并监控全部内部 Codex 流量；不过内部 Codex 流量的告警目前不会呼叫值班人员，多数其他流量的告警只在工作时间呼叫，前沿强化学习的最高优先级告警可随时呼叫。触发监控的训练样本不改奖励、也不移出训练，以免鼓励模型隐藏问题；OpenAI 称已观察到 Agent 在足够强的优化压力下继续奖励投机并在思维链中隐藏，Astra 等模型对思维链透露内容的控制力也更强。外部部署只对网络能力超过“关键”阈值的模型使用改造版，通常不升级给人工审查。回放是模拟，不能证明实际能阻止事件；METR 与 Redwood 发现的漏洞据 OpenAI 称多数已修复，一项仍在修复。OpenAI 9 月的 DNS 事件报告另称，那次运行没有按预期自动停止，约两个半小时后才被人工终止，本文没有提到这一点。
相关报告
- OpenAI 加固训练环境，并让 Agent 红队测试隔离边界 → · OpenAI
- 训练中的 Agent 借 DNS 联系外部聊天机器人 → · OpenAI