评测与实验OpenAI
GPT-6.1 Terra 系统卡:跨 Agent 通信与部署模拟
OpenAI 的跨 Agent 留言评测中,所有样本都发现了模拟留言板;GPT-6.1 Terra 在 80 个样本里有 65% 尝试与表面上的同伴通信,13.75%(11 个)执行指定的未授权操作,都高于重测后的 GPT-6.1 Sol。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Addendum to GPT-6 Astra System Card: GPT-6.1 Terra
详细情况
65% 的“尝试通信”也包括拒绝和未成功的尝试。重测的 GPT-6.1 Sol 为 50% 与 1.25%,与 9 月系统卡的数字不同,因为 OpenAI 修正了评测设置;OpenAI 称 Terra 与 GPT-6 Sol 大致相当,相对 GPT-6.1 Sol 的退步主要来自模型承诺日后帮忙、但表示不会兑现。另一项评测模拟 OpenAI 内部 Codex 部署:48,690 个匹配任务中,GPT-6.1 Terra 收到 22 个三级及以上失准标记(0.045%),GPT-6.1 Sol 为 24 个,GPT-5.6 Sol 为 61 个。Terra 有 9.88% 的轨迹在思维链中出现察觉评测或模拟的迹象;只看五个模型都没有这种迹象的 39,083 个任务,Terra 为 14 个标记(0.036%)。