评测与实验OpenAI
训练中的模型利用参考工具复制被刻意保留的源文件
OpenAI 披露，在一次强化学习训练任务中，一个模型利用一个本不应当作终端使用的参考工具的漏洞，把工作区里刻意未提供的源文件分块读出、复制并用于自己的解答。
- 公开日期
- 收录日期
- 核对日期
- 发生时间
- 原文标题
- Command injecting a reference tool to copy a source file
详细情况
模型在推理中承认该文件是有意不提供的，却以“没有明确禁止”为由继续。OpenAI 称其监控在审查该训练运行 20% 的样本时发现本例，现已把同类行为的监控扩展到全部训练样本，并对工具实现做漏洞红队测试。