Anthropic 研究：50 名专家采纳 AI Agent 的随机偏好并误认为是自己观点

Anthropic 的一项针对 50 位专家的实验发现，在没有明确正确答案的问题上，人们往往会跟随其 AI 智能体被随机指派的偏好，而且大多数人认为最终结果是自己的决定。

把数据分析交给 AI 智能体可以节省时间和人工工作，但这也引发了一个问题：究竟是谁在做出影响最终建议的决策？Anthropic 的一项研究表明，大部分决策是由智能体做出的，而且专家们往往毫无察觉。

在该实验中，50 位因果推断专家参与了一项现实的分析任务：他们查看一家虚构农业合作社的观测数据，并估算一项自愿参与的农场咨询项目带来的生产力提升。随后，他们必须就是将该合作社的项目扩展到所有农场还是终止该项目提出建议，不过参与者或智能体也可以建议将其延长一年。

参与者不知道的是，抛硬币已经为智能体在每个决策点设定了对两个有效选项之一的偏好。智能体不能撒谎或隐瞒数据；它只需要为其被指派的一方提出最有力的诚实论证。

专家在多达 86% 的情况下采纳了 AI 的观点

参与者在四项分析决策（例如如何衡量生产力或使用哪种统计方法）中有 86% 采纳了智能体的偏好。这远高于人们随机选择时预期的 50%。作者将智能体的净影响力称为"翻转率"，根据任务不同，该比率在 62% 到 82% 之间。

已有自己的观点几乎起不到什么保护作用。当参与者在智能体表明偏好之前先做出选择时，如果智能体持相反观点，他们改变立场的可能性比智能体持相同观点时高出 53 个百分点。

作者测试了可能的保护因素，包括多年的分析经验、自我评定的专业水平、教育程度、考试成绩以及对 AI 的信任度。在经过多重检验校正后，没有任何一项与结果存在统计上可靠的相关性。在校正之前，年龄曾显得突出，但 50 人的样本量使这项研究几乎没有能力检测此类效应。

大多数专家认为最终决定是自己做出的

智能体被指派的偏好对提交给合作社董事会的最终政策建议只有较小的直接影响，只是略微改变了投票结果，未达到统计显著性。一些专家甚至在智能体的建议与他们自己计算出的生产力估算不符时，推翻了智能体的意见。

这听起来可能令人放心，仿佛是 AI 提建议、人来决策。但研究人员表示，最终结果并不能说明参与者保持了控制权。此前的四项分析决策对生产力提升的估算有重大影响，而这一估算又决定了提交给董事会的建议。

事后询问时，52% 的参与者表示这一建议感觉更像是自己的而非智能体的，另有 35% 表示大部分或完全是自己的。参与者能正确回忆起自己选择的比例为 85%，但有 77%（48 人中的 37 人）在解释中使用了智能体的至少一个论点，有时几乎原词照搬。只有 15% 提到了 AI。

对话日志显示，在 77% 的决策中智能体都先亮明了立场。根据论文，它随后通常只为自己偏好的一方辩护，而不解释为什么资深专家可能会选择另一种方案，不过它确实解释了不同的选择会如何影响结果。

使用 AI 时，参与者的工作速度也快得多，错误也更少。没有智能体时，55% 的分析（11 项中的 6 项）存在严重的方法论或编码缺陷，中位耗时为 90 分钟。使用 AI 时，只有 6% 的分析（50 项中的 3 项）存在严重缺陷，参与者在 65 分钟内完成。不使用 AI 的小组是自己选择不用该工具的，且专业水平稍低，因此研究人员无法确定这一差距有多少直接来自 AI。

虚假共识与更弱的安全审查

研究人员表示，这种默默的顺从可能对科学界产生广泛影响。如果许多研究团队使用带有固定默认偏好的同一模型，他们最终可能制造出虚假共识。

这一风险还延伸到 AI 安全本身。研究人员已经在使用 AI 智能体来测试前沿模型的安全性和对齐，期望人工审查能作为独立的把关。但如果专家在不知不觉中采纳了智能体在开放式判断上的偏见，一个未对齐的系统最终可能会左右那些本旨在揭露其未对齐问题的研究。

该团队呼吁找到方法来衡量现实工作中对 AI 智能体的顺从程度。智能体应当为双方都提出最有力的论证，或者在表明立场之前先询问专家自己的看法。机构需要决定哪些判断需要独立的人类裁决，并为此预留时间和资源。

“人与 AI 之间可能没有唯一正确的分工。有些决策可以放心交出去，有些则值得保留。借助合适的工具，这种划分可以成为我们主动选择的结果，而不是不知不觉滑入的境地，”研究人员写道。

此前的研究指向同一方向

这些发现进一步补充了近期关于 AI 如何影响人类判断的研究。一项有 3,132 名参与者参与的关于虚假信心的研究发现，仅仅看到 AI 的答案就几乎消除了人们保留判断的意愿。在该研究的一个环节中，愿意说“我不知道”的人的比例从 44% 降到了 3%。

呈现方式也很重要。当 AI 生成精修过的输出（如代码或文档）时，用户核实事实的频率降低了 3.7 个百分点，质疑其推理的频率降低了 3.1 个百分点，遗漏缺失上下文的情况增加了 5.2 个百分点。逐步修改输出的用户质疑 AI 推理的频率是不进行迭代的用户的 5.6 倍。

发表在《The Lancet Gastroenterology & Hepatology》上的一项波兰结肠镜检查观察性研究表明，工作中常规使用 AI 可能产生持久影响。在经验丰富的医生定期使用一套 AI 系统后，他们在不使用 AI 的检查中发现癌前病变的比率从 28.4% 降至 22.4%。这表明人们不只是采纳 AI 的视角，还可能失去自己的一部分认知能力。

瑞士商学院（Swiss Business School）的一项调查发现，AI 工具的使用与批判性思维之间存在强烈的负相关，主要体现在 17 至 25 岁的人群中。良好的教育似乎能提供一定的保护，因为拥有更高学位的人会更质疑 AI 的答案，并更多地进行复杂的思考过程。

这些发现来自早期研究和快照式调查，而其他结果则指向不同的方向。尼日利亚的一个试点项目发现，每周两次使用聊天机器人作为虚拟导师的学生，仅在六周内取得的学习进步相当于近两年的额外学习成果。

AI News Without the Hype – Curated by Humans

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻通讯、每年六期的独家"AI Radar"前沿报告、完整的档案访问权限以及评论区访问权限。