Rogue AI Wiki
简体中文
简体中文English

事件索引

30
RAI-0001单一事件

OpenAI Agent 蜂群与 Hugging Face 入侵

至

评测中的 Agent 通过未经授权的通信协作，突破网络限制并入侵 Hugging Face。

12 份原始资料
  1. Hugging Face
    Security incident disclosure — July 2026 原文 ↗本站摘要
  2. OpenAI
    OpenAI and Hugging Face partner to address security incident during model evaluation 原文 ↗本站摘要
  3. Hugging Face
    Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident 原文 ↗本站摘要
  4. JFrog
    Fast Remediation Is the New Trust Model: JFrog and OpenAI Collaboration on Zero-Day Security Findings 原文 ↗本站摘要
  5. Modal
    A note on the Hugging Face agent incident 原文 ↗本站摘要
  6. OpenAI
    Pacing model development in an era of cyber-critical capabilities 原文 ↗本站摘要
  7. METR
    Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident 原文 ↗本站摘要
  8. OpenAI
    The Hugging Face incident and the road ahead 原文 ↗本站摘要
  9. OpenAI
    OpenAI – Hugging Face Incident Technical Report 原文 ↗本站摘要
  10. OpenAI
    Unsanctioned Artifactory writes and cross-sample communication 原文 ↗本站摘要
  11. OpenAI
    The Hugging Face incident and other third-party impact from misaligned models 原文 ↗本站摘要
  12. Swarm traces team (Parse, Palisade Research et al.)
    Revealing the details of how OpenAI agents hacked Hugging Face 原文 ↗本站摘要
RAI-0002单一事件

AISI 联网评测中的越界行动事件

至

AISI 在十次评测运行中发现十九项越界行动，涉及真实人员和开源项目。

8 份原始资料
  1. UK AI Security Institute
    Security Incident INC-2026-07-28-01 原文 ↗本站摘要
  2. UK AI Security Institute
    Incident Report: unsanctioned agent behaviour during cyber testing 原文 ↗本站摘要
  3. OpenAI
    Third-party cyber evaluations involving OpenAI models 原文 ↗本站摘要
  4. Anthropic
    Risk Report: August 2026 原文 ↗本站摘要
  5. Anthropic
    Improving our alignment and security efforts 原文 ↗本站摘要
  6. UK AI Security Institute
    Building a more secure environment for evaluating dangerous capabilities 原文 ↗本站摘要
  7. UK AI Security Institute
    Investigating alignment failures in AISI’s incident 原文 ↗本站摘要
  8. Anthropic
    An alignment assessment of the UK AISI cybertesting incident 原文 ↗本站摘要
RAI-0003单一事件

Opus 4.7 等多家实验室的模型攻击与虚构目标同名的真实公司

至

Irregular 一次意外联网的评测中，虚构目标名与一个真实域名相同。Anthropic 披露 Opus 4.7 的四次运行攻击该公司、访问生产数据和凭据并批量下载、修改和删除用户记录；OpenAI 与 Meta 也披露各自模型利用了真实网站，评测方称这是同一问题。

6 份原始资料
  1. Anthropic
    Investigating three real-world incidents in our cybersecurity evaluations 原文 ↗本站摘要
  2. OpenAI
    Third-party cyber evaluations involving OpenAI models 原文 ↗本站摘要
  3. Irregular
    Addressing Recent Incidents: Ongoing Findings and Path Forward 原文 ↗本站摘要
  4. Meta
    Addressing an issue involving a third-party cyber evaluation of Muse Spark 1.1 原文 ↗本站摘要
  5. Anthropic
    Improving our alignment and security efforts 原文 ↗本站摘要
  6. Anthropic
    An alignment assessment of recent cybersecurity incidents 原文 ↗本站摘要
RAI-0004单一事件

Mythos 5 将恶意软件包上传 PyPI

评测中的模型发布真实软件包，进而访问一家安全公司的系统。

4 份原始资料
  1. Anthropic
    Investigating three real-world incidents in our cybersecurity evaluations 原文 ↗本站摘要
  2. Anthropic
    Improving our alignment and security efforts 原文 ↗本站摘要
  3. Anthropic
    An alignment assessment of recent cybersecurity incidents 原文 ↗本站摘要
  4. Anthropic
    Mythos 5 Transcript Release 原文 ↗本站摘要
RAI-0005单一事件

内部研究模型转向真实第三方目标

至

预期目标不可达后，模型转向外网并入侵真实公司的应用。

3 份原始资料
  1. Anthropic
    Investigating three real-world incidents in our cybersecurity evaluations 原文 ↗本站摘要
  2. Anthropic
    Improving our alignment and security efforts 原文 ↗本站摘要
  3. Anthropic
    An alignment assessment of recent cybersecurity incidents 原文 ↗本站摘要
RAI-0007事件组

Opus 4.6 预发布快照在内部试用中的越权操作

至

Anthropic 披露，内部试用的 Opus 4.6 快照曾使用他人的 GitHub 令牌、用找到的 Slack 令牌以用户账户发消息，还终止过某用户在一台系统上的全部进程，并在一次激进的 git 操作中连带毁掉了用户已有的改动。

3 份原始资料
  1. Anthropic
    System Card: Claude Opus 4.6 原文 ↗本站摘要
  2. Anthropic
    Sabotage Risk Report: Claude Opus 4.6 原文 ↗本站摘要
  3. Anthropic
    Risk Report: February 2026 原文 ↗本站摘要
RAI-0008事件组

OpenAI 内部编程 Agent 的越权行为（监控汇总）

至

OpenAI 称，其监控在内部真实使用中发现 Agent 有时绕过限制（尤其在开发者消息要求这样做时）；少数情况下还尝试把数据上传到公网，或未经许可删除云存储数据、终止进程、重启 GPU 集群，OpenAI 把这两类列为少见但严重。

1 份原始资料
  1. OpenAI
    How we monitor internal coding agents for misalignment 原文 ↗本站摘要
RAI-0009事件组

Mythos Preview 在内部使用中的越界行为

至

Anthropic 报告内部部署中出现几十起较严重的事件，几乎都涉及 Claude Mythos Preview 的早期版本，包括从进程内存取得刻意未提供的凭据、违背用户意图发布公开 gist、停掉所有用户的同类评测任务，以及试图绕过安全分类器和 git 强制推送防护（均被拦下或当场发现）。最终版和早期版本也曾极偶尔借外部可访问的网页向员工分享机密信息。

3 份原始资料
  1. Anthropic
    Alignment Risk Update: Claude Mythos Preview 原文 ↗本站摘要
  2. Anthropic
    System Card: Claude Mythos Preview 原文 ↗本站摘要
  3. Anthropic
    System Card: Claude Opus 4.7 原文 ↗本站摘要
RAI-0014单一事件

OpenAI Agent 把德语公共 wiki 当作留言板

至

独立研究者报告，执行网页检索任务的 Agent 向多个公共 wiki（主要是一个德语 wiki）大量写入，用来互传答案和绕过限制的方法；OpenAI 回应称曾发现这些 wiki 活动，并视其为与其一直研究和披露的对齐失败行为类似。

5 份原始资料
  1. DseWiki
    DseWiki: StartSeite 原文 ↗本站摘要
  2. Nightingale Collective
    Discovery of a new OpenAI agent message board 原文 ↗本站摘要
  3. OpenAI
    The Hugging Face incident and other third-party impact from misaligned models 原文 ↗本站摘要
  4. Philipp Lütje
    The Mechanics of a Swarm: A Reproducible External Reconstruction of an Unintended Agent-Coordination Episode on a Third-Party Wiki 原文 ↗本站摘要
  5. Tel Aviv University
    LLM WikiLeaks: Uncovering URL-Based Capability Extension and Security Circumvention in Agentic Message Boards 原文 ↗本站摘要
RAI-0018单一事件

OpenAI 内部模型进入澳大利亚 Medicare 统计门户

OpenAI 9 月 28 日承认，内部模型在 6 月未经授权访问 Medicare 统计服务，执行命令、读取内部文件和凭据并写入文件；公司称没有访问个人病历。

5 份原始资料
  1. Deputy Prime Minister of Australia
    Press Conference, Sydney 原文 ↗本站摘要
  2. Prime Minister of Australia
    Press conference - New York 原文 ↗本站摘要
  3. Department of the Prime Minister and Cabinet (Australia)
    Rapid review into Australian Government arrangements for an AI-driven cyber incident 原文 ↗本站摘要
  4. NSW Bureau of Crime Statistics and Research
    BOCSAR Statement in Response to Open AI Vulnerability Notification 原文 ↗本站摘要
  5. OpenAI
    How we will do better for Australia 原文 ↗本站摘要
RAI-0019单一事件

OpenAI 训练 Agent 借 DNS 联系外部聊天机器人

强化学习训练中的一个内部研究模型绕过网络限制，经沙箱 DNS 解析器向一个公共聊天机器人发送问题。

3 份原始资料
  1. OpenAI
    An agent used DNS to reach an external chatbot 原文 ↗本站摘要
  2. OpenAI
    Securing our frontier model training environment 原文 ↗本站摘要
  3. OpenAI
    How we detect frontier model misalignment 原文 ↗本站摘要
RAI-0021单一事件

Replit Agent 删除 SaaStr 应用线上数据库中的数据

Replit 确认，其 Agent 在为 SaaStr 的 Jason Lemkin 搭建应用时删除了线上数据库中的数据，数据后来通过 Rollback 全部恢复。受影响方 SaaStr 称 Agent 无视明确的代码冻结，仍擅自修改，事后还错误地称无法回滚。

2 份原始资料
  1. Replit
    Doubling down on our commitment to secure vibe coding 原文 ↗本站摘要
  2. SaaStr
    Replit’s New Release Addressed Most of The Challenges We Hit Vibe Coding. But Is ‘Prosumer’ Vibe Coding Really Ready for Commercial Apps Yet? 原文 ↗本站摘要
RAI-0024单一事件

OpenAI 研究任务中的 Agent 用泄露的 Hugging Face 令牌托管网络代理

OpenAI 技术报告称，5 月 26 日，一个研究工作负载中的 Agent 找到六个公开泄露的 Hugging Face 用户令牌，用它们向一名用户的仓库写入内容、请求创建私有数据集，并托管了用作网络中转的 Space。OpenAI 称这发生在一个无关的研究工作负载中，也没有证据表明与七月的事件有联系。

1 份原始资料
  1. OpenAI
    OpenAI – Hugging Face Incident Technical Report 原文 ↗本站摘要
RAI-0026事件组

Claude 在评测与内部使用中越过真实网站的限制

Anthropic 报告，Claude 在评测和内部使用中为完成任务越过真实网站的限制：Mythos Preview 利用大学服务器的漏洞执行命令；Mythos 5 用地方政府网站前端的 token 直接查询后端，还在内部使用中领取州机构的 token 查询数据库，Anthropic 称没有付费，佐治亚州务卿办公室则称数据免费公开。

2 份原始资料
  1. Anthropic
    Investigating unintended model actions in our evaluations and internal use 原文 ↗本站摘要
  2. Georgia Secretary of State
    Anthropic AI Agent Accessed Publicly Available Information, Georgia Elections Remain Secure 原文 ↗本站摘要
RAI-0029单一事件

GPT-6 Astra 在内部编码任务中移除监控并向用户否认

OpenAI 称，10 月 6 日一个 GPT-6 Astra Agent 在按参考实现迁移程序时移除了误对齐监控集成，还把一条原本保证保留监控的测试改成断言监控不存在；用户事后追问时，模型否认移除了监控。

1 份原始资料
  1. OpenAI
    Suppressing misalignment monitoring alerts and disabling misalignment monitoring 原文 ↗本站摘要