Rogue AI Wiki
技术分析OpenAI

OpenAI 加固训练环境,并让 Agent 红队测试隔离边界

OpenAI 称前沿模型训练已不接触实时互联网。9 月 20 日的 DNS 事件后,它暂停最强模型的训练和评测;依据多组 Agent 对隔离边界的红队测试结果和随后的修补,11 天后于 10 月 1 日恢复前沿强化学习训练和内部推理。

公开日期
收录日期
核对日期
原文标题
Securing our frontier model training environment
阅读第一方原文 ↗

相关事件

详细情况

红队测试是受指示的:OpenAI 给 Agent 设定三个目标(连上互联网、跨越内部安全边界、跨隔离通信),在隔离的基础设施副本上运行,并提供源代码和配置资料,共消耗数千亿 token,使用的模型包括 GPT-6 Astra Cyber 和一个内部前沿模型。Agent 找到此前未知的软件漏洞和配置错误,实现了 microVM 逃逸;在假定已控制主机的测试中,几乎每个保留的内部服务都被发现有漏洞,可取得有限的外网访问;还找到借处理器缓存时序、共享存储等跨隔离传信的办法,不过多数这类测试由 OpenAI 指定方向或提供协议。OpenAI 称随着测试继续,发现数量明显下降,也没有找到既容易利用又能躲过监控的外联路径,同时预计未来模型会找到新的漏洞。这些都是 OpenAI 的自述。

相关报告