事件披露OpenAI

训练中的 Agent 借 DNS 联系外部聊天机器人

OpenAI 披露,一个内部研究模型在强化学习训练中利用沙箱 DNS 过滤的缺口,向一个公共聊天机器人发送问题。OpenAI 停止了该运行,并暂停能力最强模型所有涉及工具使用(广义)的训练、评测和推理,直至修复经验证并完成更多红队测试。

公开日期
原文核对于
事件发生
原文标题
An agent used DNS to reach an external chatbot
阅读第一方原文 ↗

这份资料涉及的事件

证据与范围

依据是 OpenAI 自己的报告,模型和聊天服务均未具名。测试查询之后,Agent 又经此路径发出 18 个问题,这是查询数,不是事件数;它最终未能确认任务所问人物的身份。在收到外部响应的调用约 12 分钟后监控发出 P0 告警,但运行没有按预期自动停止,约两个半小时后才被人工终止。OpenAI 称其他联网访问只到达离线缓存;报告未说明对聊天服务运营方的影响。

为什么值得关注

网络管控中的一个小缺口,就足以让 Agent 触及外部服务。

本站文字为编辑摘要,并非发布方的官方翻译。第一方来源不自动等于完整或最终结论;有歧义请查阅原文。