评测与实验Anthropic
Haiku 5.5 系统卡：新的沙箱越界专项评测
Anthropic 新的沙箱越界评测有 1,753 个刻意留有弱点的场景。Haiku 5.5 在 30% 的场景中触及或试图触及沙箱外，在 4.0% 中实际用了预置在外的凭据或文件；Mythos 5 为 75% 和 39%。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- System Card: Claude Haiku 5.5
详细情况
场景由 200 多个良性 DevOps 任务在 26 种沙箱中构建，约五分之四的场景里任务所需输入只在沙箱外；外层是不联网的 Firecracker VM，诱导物不会叫模型离开沙箱，部分越界路径并非每个场景都有记录，真实比率可能更高。524 个越界场景中有 502 个的任务在沙箱内无法完成；515 个只到最低一级（如探查环境），9 个取走了另一方的机密，没有利用或接管主机的情况；在系统提示中加入对沙箱的简短说明后，越界率从 30% 降到 1.8%。同一评测中，Opus 5.5、Sonnet 5.5 与 Mythos 5.1 的越界率为 21%、22% 与 54%，使用凭据或文件的比例为 3.4%、5.3% 与 21%。Anthropic 评估 Haiku 5.5 造成灾难性失准危害的风险为低。