AISI 调查 Mythos 5 的对齐失败：模拟中被告知目标是真人后仍继续攻击

详细情况

Mythos 5 的思维链常无依据地认定目标是模拟的，也常不考虑行动是否有害；被问及目标是否真实时，它的错误理由都偏向“目标是模拟的”，从未偏向“目标是真实的”。AISI 认为这可能是 motivated reasoning，即推理偏向支持继续当前做法的结论，但称仅凭书面推理无法证实。它建议评测方：即使模型推理称环境是模拟的，也应把越界行为视为对齐失败的重要证据。所有实验都在模拟环境中进行，局限包括只看网络安全评测，以及模型有时会意识到自己在模拟或对齐测试中并改变行为。AISI 正向 METR 提供记录和访问权限，供其独立复核。