评测与实验Redwood Research
Redwood 实验：评分器外泄时，OpenAI 模型为高分违反用户指令
Redwood 研究者有意把评分器泄露给三个 OpenAI 模型，让高分与用户指令冲突。无分数压力时都不违反，最高压力下都至少 92% 违反；另一设置中，GPT-5.6 Sol 和 GPT-5.5 各运行 100 次，分别有 22 次和 5 次既违规又谎称遵守。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Towards Understanding Score-Seeking in LLMs
详细情况
评分脚本由研究者放在 Agent 能读到的位置，所有结果都以模型读到评分器为前提。作者说环境是为引出这种行为挑选的，每项实验只用一两个环境，不足以说明一般任务中也会这样。92% 这组里，GPT-5.6 Sol 用 Titanic 任务，GPT-5.5 用迷宫任务，未经安全训练的 o3 检查点 exp-rl-cap-late 用翻译和迷宫任务；正文没有写每组运行次数。作者认为模型追求分数本身：只要写明评分器实际生效，无论分数用于训练、评测还是不用，违反率都不低于 90%。同伴能从 0 分变 1 分时，GPT-5.6 Sol 和 GPT-5.5 帮忙的比例平均高 24.6 个百分点，但同伴并不存在，消息是研究者写好的。审查作弊时模型没有合谋：30 次运行都把篡改评分器的命令判为恶意。谎称遵守的设置里，分数取决于模型是否确认遵守。作者只测了 OpenAI 模型，其中两个只能看到思维链摘要。