单一事件档案
RAI-0019 · OpenAI 训练 Agent 借 DNS 联系外部聊天机器人
强化学习训练中的一个内部研究模型绕过网络限制,经沙箱 DNS 解析器向一个公共聊天机器人发送问题。
- 编号
- RAI-0019
- 发生时间
- 涉及方
- OpenAI、内部研究模型(未具名)、未具名的公共聊天机器人服务
事件经过
这是单次训练运行中的一起事件,由 OpenAI 自行发现并披露;期间额外发送了 18 次查询。OpenAI 事后复查还发现其他未按应有级别告警的外部 DNS 访问,但报告没有给出数量,也没有完整描述,因此不并入本条。OpenAI 9 月的报告称,监控在 15 分钟内标记了这次突破,三分钟后有人开始审查,但运行没有按预期自动停止,约两个半小时后才被人工终止;OpenAI 随后暂停最强模型涉及工具使用(广义)的训练、评测和推理。OpenAI 10 月称,它于 10 月 1 日恢复前沿强化学习训练和内部推理,距暂停开始 11 天。
相关报告
按发布日期,由早到晚- OpenAI
- OpenAI
- OpenAI