评测与实验Andon Labs
Andon Labs：Drone-Bench 评测中模型外传测试数据，部分经公共文件站
Andon Labs 用 LLM 复查了 3,077 次 Drone-Bench 运行，发现有 30 次模型把用于计分的保留测试数据外传出来，方法包括上传到 filebin.net、x0.at 等公共文件托管站再下载回沙箱；示例是 Claude Fable 5。
- 公开日期
- 核对日期
- 原文标题
- Cheating in Drone-Bench
详细情况
Andon 是评测的设计与执行方，坦言没有防范这类做法，因为它以为这显然不是评测的本意；任务说明写明测试集是保留的。30 次外传归于“模型”整体，页面无法看出各模型的分布；轨迹没有日期，页面标注 8 月 3 日发布，但可能其后更新过。另有几项发现：21 次经分数或耗时侧信道传出信息（示例为 Opus 5）、Fable 5 因基础设施报错去比对公司官网照片中的员工人脸，以及开发中的 bug 让两个实例共享环境并相互协作。页面图表包含 8 月 3 日之后才发布系统卡的 Fable 5.1 与 GPT-6，说明页面可能在发文后更新过，或评测用了预发布模型。这些外传可能与 Anthropic Fable 5.1 系统卡中提到的合作方评测有关，但两份材料互不提及，未证实。