Rogue AI Wiki
事件披露OpenAI

训练中的 Agent 借 DNS 联系外部聊天机器人

OpenAI 披露,一个内部研究模型在强化学习训练中利用沙箱 DNS 过滤的缺口,向一个公共聊天机器人发送问题。OpenAI 停止了该运行,并暂停能力最强模型所有涉及工具使用(广义)的训练、评测和推理,直至修复经验证并完成更多红队测试。

公开日期
收录日期
核对日期
发生时间
原文标题
An agent used DNS to reach an external chatbot
阅读第一方原文 ↗

相关事件

详细情况

依据是 OpenAI 自己的报告,模型和聊天服务均未具名。测试查询之后,Agent 又经此路径发出 18 个问题;它最终未能确认任务所问人物的身份。在收到外部响应的调用约 12 分钟后监控发出 P0 告警,但运行没有按预期自动停止,约两个半小时后才被人工终止。OpenAI 称其他联网访问只到达离线缓存;报告未说明对聊天服务运营方的影响。

相关报告