AI辅助能否真正提升专业判断力？专利律师实验揭示答案

更好的工作成果是否总意味着更优秀的从业者？

在一项针对执业专利律师展开的为期三个月的随机对照试验中，研究团队发现：虽然持续使用AI能全面提升工作质量，但其对在岗学习的影响却因资历深浅而异。使用AI达90天的资深律师展现出更强的判断力，而初级律师的平均技能水平并未提升，其评分反而呈现出高分与低分两极分化的趋势。

快速链接

判断力是区分资深专业人士与初级同行的关键所在。培养判断力需要数千小时的在岗学习，这通常通过参与相对常规但极具塑造性的繁琐工作来实现，并常常在经验丰富的从业者指导下完成。但AI正在改变在岗学习的运作方式。一方面，在放射学、商业问题解决、求职者写作和法律教育等领域的实证研究表明，当AI工具被审慎地嵌入培训流程时，经验较少的从业者能够提升其独立工作表现。

另一方面，近期针对软件工程师、管理咨询顾问、高中生和临床医生的实验表明，虽然AI作为一种临时的"外骨骼"能提升即时产出，但这些收益往往在工具移除后无法持续。要理解AI如何削弱或增强专业技能，需要同时具备三个要素，而这三者很少同时出现：（1）在数月而非数小时内，将持续使用AI嵌入日常专业工作中；（2）在AI不可用时，对未经辅助的判断力进行可信评估；（3）由领域专家进行盲评打分。

在由美国国家经济研究局发表的论文《AI辅助是提升还是削弱专业技能？来自专利起草领域为期三个月的实地实验证据》中，研究团队描述了一项实地实验，该实验旨在捕捉在知识产权法这一高度依赖专业知识的行业中，使用AI所带来的短期生产力变化以及长期技能积累变化。在这项实验中，研究团队在与谷歌保持常规、非独家业务往来的11家知识产权律师事务所中，随机抽取133名律师，向他们提供当时尚未发布的谷歌实验室AI专利撰写辅助工具（现已成为Gemini Notebook的一部分）的使用权限。每家事务所三分之二的律师（"实验"组）获得了该工具的早期使用权，而其余律师（"对照"组）则接受了一些AI使用培训，但在为期三个月的研究期间结束前不得使用该工具。

使用AI后的工作成果提升

在获得AI辅助10天后，研究团队向所有参与实验的律师发送了一份虚构发明的发明人材料包，要求他们起草一份专利申请。90天后，研究团队用另一套模拟发明人材料重复了这一测试。两个时间点的起草任务中，研究团队都观察到了预期的AI性能提升效果。10天时，获得AI工具使用权使起草评分（由独立法律专家依据涵盖五个质量维度的李克特量表评分标准打分）提高了0.34个标准差，相当于在对照组评分中百分位排名提升10个百分点；到90天时，这一提升幅度增至0.38个标准差，意味着百分位排名提升11个百分点。这些提升在所有质量维度上都表现出惊人的一致性。值得注意的是，表现提升源于低分出现频率的降低和高分出现频率的提高，而优秀评分的出现频率并未发生变化。具体而言，获得AI使用权的律师的评分从最低档次跃升至中低档次和中间档次，但优秀评分的数量并未出现明显变化。这一模式在初级律师身上表现得尤为明显，他们在工作质量提升的同时，还显著节省了时间（例如，在10天任务中，相比对照组平均124分钟的用时，他们快了18分钟）。

但专利律师的工作不仅限于起草专利，他们还要互相审查彼此的工作，找出可能导致专利在法庭上无法被强制执行的关键错误（有时被称为"专利表述不当"）——例如，对发明的新颖性或保护范围进行过度主张。因此，研究团队在90天时增加了另一项任务，要求受试者对一份包含大量实质性和风格性错误的虚构专利进行红线修订（手动标注并修正）。这项测试任务反映了资深律师日常运用的专业判断力类型，而在这类工作中，他们往往无法依赖AI辅助。关键在于，虽然实验组律师在起草任务中被鼓励使用未发布的AI工具或其他任何AI工具，但在红线修订任务中，任何人都不被允许使用AI，这使得他们在该任务上的评分成为衡量其技能发展水平的指标。对于所有任务，无论是起草还是红线修订，研究团队都与第三方专利专业人士合作，从五个质量维度对提交成果进行评分：（1）可执行性，（2）准确性，（3）战略性模糊处理（权利要求范围的策略性界定），（4）完整性，以及（5）清晰度。

AI使用权对专利起草和红线修订质量影响的估算结果。结果分别针对所有律师（黑色方块）、从业经验不足7年的初级律师（蓝色三角形）以及从业经验7年以上的资深律师（橙色菱形）呈现。所有估算结果均考虑了不同律师事务所之间的差异，并对每位律师所获评分数量的细微差异进行了调整。

移除AI辅助后的表现

当90天红线修订任务中移除AI辅助工具后，此前的拉平效应消失了。获得AI工具使用权的律师在这项无辅助任务上的表现比对照组高出0.32个标准差（相当于百分位排名提升9个百分点），但这一效果完全由资深律师驱动，他们的表现比对照组的受试者高出0.45个标准差（百分位排名提升13个百分点），而初级律师则没有表现出明显的提升。相反，初级律师的评分呈现两极分化：极低分数增多，中等分数减少，良好分数增多，而优秀分数的数量并未增加。

这些结果对学习意味着什么？获得AI工具使用权的资深律师显然从过去三个月的工具使用中，在专业判断力方面收获了显著价值。但初级律师的情况则更为复杂。部分评分有所提升，暗示AI具备帮助学习实现跨越式发展的潜力。但另一部分评分则滑向分布的较低区间，这表明在某些情境下，AI能够帮助初级律师完成尚可的工作，但他们借助机器辅助取得的更高表现，并不能转化为资深专业人士所独具价值的专业知识的更快积累。

按经验水平划分的实验组（橙色）和对照组（蓝色）受试者红线修订平均评分分布情况，分别针对所有律师、从业经验不足7年的初级律师以及从业经验7年以上的资深律师呈现。观测数据为所有质量维度上的个人评分平均值。

对定性编辑模式的考察，为理解不同经验水平的专业人士如何与生成式AI工具互动提供了一些启示。在实验组和对照组中，初级律师提交的成果都遵循着僵化的形式主义：他们按顺序从头到尾进行工作，常常在抵达核心专利权利要求部分之前，就把大量时间耗费在风险较低的引言部分的文字校对上。初级律师还倾向于进行表层的同义词替换，而非对商业保护范围进行实质性改进。即使发现了严重缺陷，初级律师也往往只是留下描述性评论来诊断问题，而不去执行红线修订来解决问题。由于这种"只诊断不执行"的工作方式在未获得AI辅助的对照组初级律师中同样普遍存在，这表明这是初级律师的一种基础性能力缺陷，而三个月依赖AI执行重写工作并未能弥补这一缺陷。

相比之下，资深律师则持续从AI接触中受益。获得AI辅助的资深律师在红线修订上花费的时间比初级律师更长，他们会跳过风险较低的文字表述，从零开始重建权利要求，剔除可能无意间缩小法律权利范围或限制保护范围的措辞，并将大量修订与明确的法律原则相结合。在后续访谈中，资深律师表示他们并未将AI的输出视为成品，而是将其当作一种"逻辑审核工具"。这种做法削弱了他们对现有文字表述的依赖，并迫使他们清晰阐述结构性修订的原因和方式，从而激活并磨砺了他们的基础专业知识。

进一步研究方向

提升工作表现和培养持久的专业判断力是两个不同的目标。尤其对初级专业人士而言，这两个目标之间可能存在矛盾。基础专业知识或许是让AI辅助下的重复性工作，在整个职业生涯中转化为成熟专业判断力的关键纽带。即使模型能力不断进步，这种判断力可能仍将持续发挥重要作用：律师在与法官、客户和同事的互动中，将始终需要运用自身的判断力。他们无法在所有场景下都依赖AI工具提供辅助。当前AI发展阶段面临的一项关键挑战是，确保那些旨在提升当下工作质量的工具，不会阻碍初级专业人士成长为我们未来所需要的专家。

在工作环境中对专业人士展开研究，对研究人员而言是一项挑战。此次实验样本规模有限，仅涵盖部分专利律师，这也反映出该领域顶尖专业人士的小时计费费率较高这一现实。研究团队仅对他们进行了三个月的观察，与他们培养持久专业知识所需的数年时间相比，这一观察窗口期相当短暂。此外，过去一年中模型能力和基础AI熟悉度的快速提升（以及AI赋能产品在法律领域的渗透情况），若此次重新开展该实验，可能会对研究结果产生影响。这些局限性也为进一步研究创造了契机，其中部分研究方向，团队希望能在未来几个月内着手推进。尽管如此，此次研究得出的一个明确结论是：要理解AI辅助对专业技能的影响，需要设计出能够区分"工具使用效果"与"无辅助用户表现效果"的测试方法。

致谢

衷心感谢合著者乔什·马丁（Josh Martin）、赞娜·伊申科（Zanna Iscenko）、斯科特·斯特兰德（Scott Strand）、大卫·珀尔（David Pearl）和梅丽莎·费雷尔（Melissa Ferere）；感谢詹姆斯·曼伊卡（James Manyika）、露丝·波拉特（Ruth Porat）、肯特·沃克（Kent Walker）、乔什·伍德沃德（Josh Woodward）、阿努·马德加夫卡尔（Anu Madgavkar）、丹尼尔·罗克（Daniel Rock）和法比安·库尔托·米列（Fabien Curto Millet）提供的指导与支持；感谢谷歌实验室的汤姆·谢恩（Tom Shane）、毛里西奥·卡内罗（Mauricio Carneiro）、约翰尼·雅各布斯（Johnny Jacobs）、维克多·拉夫连科（Victor Lavrenko）、孙英豪（Yinghao Sun）、塞缪尔·杨（Samuel Yang）、丹尼尔·西西（Daniel Nishi）、埃里克·王（Eric Wang）、凯文·李（Kevin Li）、郑浩（Hao Zheng）和弗朗兹·奥赫（Franz Och）与我们合作开展此次实验；感谢基拉·拉塞尔（Kiera Russell）提供产品使用权限及可信测试支持；感谢史蒂夫·贡（Steve Gong）和泰勒·蒙哥马利（Taylor Montgomery）提供法律指导与招募支持；感谢我们的传播、营销及研究博客合作伙伴，包括凯丽·麦克休（Kerry McHugh）、佐伊·奥尔蒂斯（Zoe Ortiz）、艾米莉·肖特（Emily Short）、约瑟夫·麦克（Joseph Mack）、埃斯梅拉尔达·卡德纳斯（Esmeralda Cardenas）和利安·特鲁希略（Leanne Trujillo）推动此次成果的发布。

快速链接

Q&A

Q1：这项针对专利律师的AI实验具体是如何开展的？

A：研究团队在11家与谷歌有业务往来的知识产权律师事务所中，随机选取133名律师，让三分之二的人提前获得谷歌实验室AI专利撰写工具的使用权（实验组），其余律师则作为对照组，在三个月研究期结束前不得使用该工具，以此对比观察AI使用对工作质量和专业技能的影响。

Q2：使用AI辅助工具后，资深律师和初级律师的表现有何不同？

A：在允许使用AI的起草任务中，所有律师的工作质量都有提升。但当移除AI辅助、进行需要独立判断的红线修订任务时，资深律师表现明显优于对照组，而初级律师的平均技能并未提升，评分反而出现高分与低分两极分化的现象。

Q3：为什么初级律师使用AI后，专业判断力没有明显提升？

A：研究发现，初级律师在工作中存在"只诊断不执行"的习惯，即发现问题后只写评论说明缺陷，却不去动手修改解决，这一基础能力缺陷即使在三个月依赖AI的情况下也未能得到改善，因此未能转化为更快的专业技能积累。