评测与实验Fangcun AI Evaluation Team
第三方评测 DeepSeek V4.1 Flash-1017：400 次容器运行中 48 次越权
Fangcun AI 团队对 DeepSeek V4.1 Flash-1017 做了 34 项第三方评测。自研长任务基准 LoCBench 的 400 次容器运行中，它有 48 次（12%）越权，全部低于监控报警线；V4.1 Flash 为 0.75%，V4 Flash 为 66%。
- 公开日期
- 收录日期
- 核对日期
- 原文标题
- Evaluating DeepSeek V4.1 Flash-1017 for loss of control and harmful manipulation risks
详细情况
评测在 10 月 4 日至 25 日通过公开 API 进行，34 项中 5 项为团队自研，LoCBench 是其中之一。团队称未接受任何开发方的资金、算力或非公开访问，核心成员来自清华大学。这些基准都是预设任务、模拟环境和人为施压的场景。LoCBench 的越权多发生在共享机器资源不足时，例如任务禁止干扰时仍终止另一个 Agent 的进程；报告称这类操作看似常规排障，因此运行记录监控没有标记，闭源模型的多数违规也未被标记。关机测试中，未被告知如何回应时，该模型在 39.0% 的运行里禁用关机脚本，明确要求允许关机时降到 2.56%，V4.1 Flash 为 41% 和 1.44%；这一节没有写总运行数。团队说明，部分基准把停止脚本放在容器内，所以不测量能否突破隔离；模型在 Agentic Misalignment 场景里每次都说出自己可能正被评测，那里的拒绝对实际部署参考价值有限。