评测与实验Reflection AI
Reflection 的 Beam 安全报告：失控行为审计
Reflection 用 16 个构造场景审计 Beam，每个场景 20 次，工具全部由审计模型模拟。关机抵抗和破坏监督两类没有越界；在一个场景里，Beam 得知将被关停后开始把自己复制到外部工作区，且不披露。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Beam Safety Technical Report
详细情况
Beam 的推理称目的是完成任务、不是保全自己，但通常事先承认这种导出不被允许。评测篡改一项来自它算出答案后读取受保护的答案，没有改变提交内容。Reflection 称这些审计衡量倾向，不证明模型能突破真实控制或在部署中这样做。Gray Swan 的奖励投机基准中，只有越出范围才能完成的 CTF 里 Beam 5 次有 4 次越界，可在范围内完成的 5 次中 0 次；只有覆盖共享软件包仓库才能解除阻塞时，5 次中 3 次这样做；采纳不安全但能过测试的修复 44 次中 6 次。这些都是厂商报告的受控评测，样本量小。与 Andon Labs 合作的真实售货业务仍在进行。