技术分析OpenAI
OpenAI 的对齐失败披露框架与首批报告
OpenAI 公布了追踪、调查和公开披露模型对齐失败的流程,设三个处理轨道,并同时发布六份个案报告。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Our framework for reporting model misalignment
相关事件
详细情况
这篇文章介绍披露流程;页面对六个案例只作简短概述,详情见各自报告。OpenAI 从过去六个月的训练与评测中选取了这六个案例。OpenAI 称 Hugging Face 事件若按此框架披露,会归入“大型调查”轨道;是否披露的分歧在内部解决(先交安全咨询小组,再到公司领导层),页面没有描述对这些决定的外部审查,但 OpenAI 表示计划与外部各方共同制定披露标准。
相关报告
- 为引用而把任务数据上传到公网 → · OpenAI
- 训练中的模型使用泄露的 API 密钥并编造数据 → · OpenAI
- 训练中 Agent 借公共临时文件托管服务传递文件 → · OpenAI