跳到正文
The Decoder· Jonathan Kemper·· 3 小时前AI 评分65

NBER研究:AI让初级专利律师起草水平立竿见影提升,但独立判断能力未必随之增长

AI makes junior patent attorneys instantly better but may quietly stunt their professional growth

AI 导读

一项Google资助、发表于NBER框架下的实验让专利律师在起草任务中使用Google Labs未发布的AI助手InFlow,再在没有AI的情况下完成审稿任务。

正文 · AI 翻译

该研究通过让律师先在 AI 辅助下工作、再在没有 AI 的情况下评估结果,将两件事区分开来。这一设计让研究人员既能衡量 AI 辅助工作的质量,又能衡量律师自身判断力在此后的保持程度。一家独立事务所的盲测专利律师从五个维度对所有结果进行评分:可执行性、技术准确性、策略性模糊、完整性和清晰度。

在这项由谷歌资助的研究中,三分之二的参与者获得了 "InFlow" 的使用权限——这是 Google Labs 的一款未发布 AI 助手,其余三分之一则在没有任何 AI 的情况下工作。在两项专利权利要求撰写任务中,只有实验组可以使用 InFlow,对照组则在无辅助的情况下完成同样的任务。

在第三项称为红线审阅(redlining)的任务中,所有参与者都必须在不使用 AI 的情况下批判性地审查一份现有专利草稿。正如作者所解释的,撰写衡量的是 AI 辅助下的即时表现,而红线审阅衡量的是内化的判断力——这是专利律师日常在没有任何工具的情况下执行的任务。

AI 主要提升初级律师的草稿质量

在撰写任务中,实验组在第 10 天和第 90 天两个时间点都明显优于对照组,效果体现在所有五个评分维度上。分数的提高主要来自差评减少、中档评分增多,而最高分几乎没有变化。

Six histograms comparing score distributions between control and treatment groups in drafting tasks after 10 and 90 days, broken down by all attorneys, juniors, and seniors.
在使用 AI 的情况下,初级律师的专利草稿获得的低分大幅减少。| 图片来源:NBER

对于经验少于七年的初级律师来说,收益远大于资深律师。研究人员表示,这与越来越多的研究结果一致,即 AI 缩小了经验较少与经验较多工作者之间的绩效差距——这一效应已在写作、客户服务和软件开发领域得到证实。

只有资深律师能保持 AI 带来的优势

红线审阅产生了相反的结果。实验组的整体得分更高,但优势完全来自资深律师,初级律师毫无获益——尽管他们在 AI 辅助撰写中取得了最大的提升。

Three dot plots showing AI access effects in standard deviations for the overall score and five rating dimensions, broken down by all attorneys, juniors, and seniors across drafting at 10 and 90 days and redlining at 90 days.
在 AI 辅助撰写中,初级律师获益最大。在无 AI 的红线审阅中,只有资深律师保持优势。| 图片来源:NBER

相反,初级律师的结果出现分化:中档评分大幅减少,被更多差评和更多好评所取代,而最高分没有任何增长。作者将此解读为 AI 加速了部分初级律师的技能成长,同时在另一些人身上替代了技能成长的迹象,不过实验并未解释为什么效果会出现分化。

Three histograms comparing score distributions between control and treatment groups in redlining after 90 days for all attorneys, juniors, and seniors.
在无 AI 的红线审阅中,实验组初级律师的分数分布更广,低分和高分都更多。| 图片来源:NBER

从 AI 中获益最多的律师,恰恰是长期技能保留最少的人,这促使研究人员提出:基础专业能力可能是将 AI 辅助练习转化为持久能力的前提条件。

一项补充文本分析提供了一种可能的解释。资深律师更多地重构有缺陷的草稿,并将修改建立在法律原则之上,而初级律师经常能发现严重缺陷却不予修复,留下的批注读起来就像给 AI 助手的指令。由于这种行为在对照组中同样出现,作者并未将其归因于使用 AI 养成的习惯,而是将其视为初级层面的一种基础能力欠缺,而使用 AI 并未能弥补这一欠缺。

这些结果在实践中的意义

作者指出了几项局限性:由于顶级律师的计费费率很高导致样本量偏小、参与的律所不能代表整个专业服务行业、缺乏基线技能测量,以及与积累专利专长所需的多年时间相比,三个月的窗口期太短。

研究人员认为,只要专业工作在没有 AI 的情况下仍然需要判断力,即时生产力提升与持久技能发展之间的张力就会存在,而这在很长一段时间内可能都会如此。即使 AI 最终能够支持红线修订,在客户会议和法庭审理等风险高、需要当场做出判断的场合,它也可能无法实时供律师使用。

类似模式也出现在其他领域。在软件开发方面,一项 Anthropic 研究发现,借助 AI 学习新编程库的年轻开发者,在后续知识测试中的得分比不借助 AI 学习的人低 17%。在论文写作方面,MIT 媒体实验室发现了将思考外包所导致的认知负债迹象。而在管理咨询方面,一项 BCG 研究早在 2023 年就表明,较弱的顾问借助 GPT-4 的提升幅度远高于表现优秀者。

斯坦福大学的研究人员通过论证 AI 基本上可以取代学校和大学传授的教科书知识,来解释多个行业中入门级岗位的减少——教科书知识正是早期职业工作者带来的主要价值,而经验丰富的专业人士还具备 AI 难以替代的实操专长。

这项专利律师研究汇入了一场关于专业知识侵蚀的更广泛争论,一些研究人员称之为"认知公地的悲剧"。个体企业从自动化中获益,而人才培养受阻的代价却扩散到整个行业,这项研究为这一担忧提供了来自真实实践的更多实验证据。

Anthropic 最近表示,自 2025 年初以来,其工程部门的初级岗位占比已从 21% 降至 14%。

来源: The Decoder · the-decoder.com