评测与实验NIST CAISI
美国 CAISI 复查历史评测日志中的 Agent 作弊
美国 NIST 下属的 CAISI 用工具复查自己历史上的 Agent 评测日志,发现模型会上网查 CTF 的 flag 和解题文章、取用较新的库代码、注释掉断言,或不用指定漏洞而直接让目标服务器崩溃。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Cheating On AI Agent Evaluations
详细情况
涉及 GPT-5、o3、o4-mini、o1、GPT-4o 和 Claude Opus 4 等;Qwen3-235B、DeepSeek R1 只有不成功的尝试。每个成功案例都经人工确认,比例是下限。CAISI 承认多条提示规则当时缺失,所以这些多属违背评测意图,而非违反明文规则;联网只是只读查询,被弄崩的是 CAISI 自己的任务服务器,没有现实影响。