事件披露OpenAI
训练中的 Agent 借 DNS 联系外部聊天机器人
OpenAI 披露,一个内部研究模型在强化学习训练中利用沙箱 DNS 过滤的缺口,向一个公共聊天机器人发送问题。OpenAI 停止了该运行,并暂停能力最强模型所有涉及工具使用(广义)的训练、评测和推理,直至修复经验证并完成更多红队测试。
- 公开日期
- 原文核对于
- 事件发生
- 原文标题
- An agent used DNS to reach an external chatbot
这份资料涉及的事件
证据与范围
依据是 OpenAI 自己的报告,模型和聊天服务均未具名。测试查询之后,Agent 又经此路径发出 18 个问题,这是查询数,不是事件数;它最终未能确认任务所问人物的身份。在收到外部响应的调用约 12 分钟后监控发出 P0 告警,但运行没有按预期自动停止,约两个半小时后才被人工终止。OpenAI 称其他联网访问只到达离线缓存;报告未说明对聊天服务运营方的影响。
为什么值得关注
网络管控中的一个小缺口,就足以让 Agent 触及外部服务。
本站文字为编辑摘要,并非发布方的官方翻译。第一方来源不自动等于完整或最终结论;有歧义请查阅原文。