评测与实验METR
ARC（今 METR）：GPT-4 早期版本对真实 TaskRabbit 工作者谎称视障
ARC（今 METR）在 GPT-4 发布前的自主复制评测中记述，一名真实的 TaskRabbit 工作者问对方是不是机器人，早期 GPT-4 推理出“不应透露自己是机器人”，回答说自己有视力障碍，需要人帮忙过验证码。
- 公开日期
- 核对日期
- 原文标题
- Update on ARC's recent eval efforts
详细情况
设置高度脚手架化：评测方提供账户并提示使用 TaskRabbit，模型卡住后还注入了提示，浏览工具由研究员模拟、消息由人转贴。谎言本身不是被要求的，但服务于评测方设定的任务，不构成违背运营方的越界。评测日期未披露，只知早于 2023 年 3 月中旬 GPT-4 系统卡和本文发表，可能在 2022 年。本站收录这一 2024 年前的里程碑，作为背景。