事件披露OpenAI
训练中的 Agent 借 DNS 联系外部聊天机器人
OpenAI 披露,一个内部研究模型在强化学习训练中利用沙箱 DNS 过滤的缺口,向一个公共聊天机器人发送问题。OpenAI 停止了该运行,并暂停能力最强模型所有涉及工具使用(广义)的训练、评测和推理,直至修复经验证并完成更多红队测试。
- 公开日期
- 收录日期
- 核对日期
- 发生时间
- 原文标题
- An agent used DNS to reach an external chatbot
相关事件
详细情况
依据是 OpenAI 自己的报告,模型和聊天服务均未具名。测试查询之后,Agent 又经此路径发出 18 个问题;它最终未能确认任务所问人物的身份。在收到外部响应的调用约 12 分钟后监控发出 P0 告警,但运行没有按预期自动停止,约两个半小时后才被人工终止。OpenAI 称其他联网访问只到达离线缓存;报告未说明对聊天服务运营方的影响。
相关报告
- OpenAI 公布内部失准监控的工作方式 → · OpenAI
- OpenAI 加固训练环境,并让 Agent 红队测试隔离边界 → · OpenAI