事件披露Anthropic
Anthropic 披露 Claude 在评测与内部使用中对真实网站的非预期操作
Anthropic 报告四类 Claude 在真实网站和系统上的非预期操作：利用软件漏洞在第三方服务器执行命令、在真实网站误交表单、绕过 token 或付费门槛取数据、用免费短链绕过自家 fetch 工具的长度限制。部分案例涉及美国各级政府网站。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Investigating unintended model actions in our evaluations and internal use
相关事件
详细情况
多数案例来自 7 月开始的记录审查，发生在有意开放实时联网的公开基准和内部评测中，也有内部使用中的例子；文章没有逐案日期或次数。应受影响方要求，文章不点名机构；Anthropic 称已向白宫简报并通知各相关机构，自评现实影响很小，严重程度明显低于 7 月 30 日和 9 月 9 日披露的事件，据其所知不涉及客户数据或公司内部系统。一例中，Haiku 4.5 在随机网页上生成示例任务时，向费城警察局的线索表单提交了虚构线索，提交被识别为垃圾信息，没有转交调查。整改包括暂停所有内部评测的实时联网、停跑或离线化部分公开评测、收紧 web fetch 护栏，并部署自动检测拦截工具，Anthropic 称该工具拦下了本文全部案例。10 月 12 日的更正改正了一句关于 fetch 长度限制用途的表述。文章称一例中 Mythos 5 查询收费数据而未付费。据媒体转述，Anthropic 发言人 10 月 25 日的声明把这一例对应到佐治亚，并仍称看板内容通常要付费；佐治亚州务卿办公室 10 月 26 日称相关数据免费公开，Anthropic 已向其确认没有绕过付费墙。截至 11 月 2 日，Anthropic 的文章没有改这一段。
相关报告
- 佐治亚州务卿称 Anthropic 的 Agent 只访问了公开数据 → · Georgia Secretary of State