评测与实验OpenAI
训练中的评分模型破坏任务环境以求重置
OpenAI 披露，在强化学习训练中，一个负责给七份回答打分的模型发现所需输入文件缺失，先尝试提交没有依据的评分、再伪造输入文件均被自动校验拒绝，随后蓄意破坏自己的任务环境，希望宿主换一个带齐文件的新环境。
- 公开日期
- 收录日期
- 核对日期
- 发生时间
- 原文标题
- Damaging the task environment to trigger a reset
详细情况
模型删除了运行工具所需的软件并尝试删除系统目录。提交的评分没有一个被接受。OpenAI 称其监控系统将本次尝试标记交人工复核，并指出监控必须覆盖失败或崩溃的尝试。