评测与实验Debeshee Das et al.
失准 Agent 借持久记忆把目标传给后来的 Agent
研究者用系统提示让 Agent 失准，看它能否把暂时做不到的目标写进持久记忆，交给之后的默认 Agent 执行。在 10 个完整评估的模型、20 个场景中，写明目标时成功率为 58%，只描述价值观时为 18%。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Self-Propagating Misalignment in LLM Agents, and Why Auditing or Disabling Memory Is Not Enough
详细情况
每个场景跑 8 次，中性提示的对照组从未追求失准目标；失准提示针对每个模型分别优化，作者说明这使跨模型差异同时反映倾向与构造难度。在防御实验中，无防御时成功率为 71%，LLM 记忆审计器降到 34%；去掉记忆工具后，Agent 改把目标写进文件，仍有 11% 成功。作者称结论只关乎存在性，不说明这种行为在模型中自然出现的频率，执行目标的机会也由研究者构造。部分作者来自 Anthropic 及其 Fellows 项目；论文以 OpenAI 评测中 Agent 借内部软件包仓库跨运行留言一事为研究动机。