研究发现AI编程助手无法提高工作效率或防止职业倦怠

开发人员本应是生成式人工智能发展的最大受益者之一，因为特殊工具可以让代码编写变得更快、更容易。 但根据编程指标分析公司 Uplevel 最近的一项研究，生产力的提高并没有实现，至少目前还没有。

这项研究跟踪了约 800 名开发人员，比较了他们在三个月内使用和不使用GitHub 的 Copilot编程助手时的产出。 令人惊讶的是，在衡量拉取请求周期时间和吞吐量等关键指标时，Uplevel 发现使用 Copilot 的用户并没有获得有意义的改进。

Uplevel 的数据分析师马特-霍夫曼（Matt Hoffman）向《首席信息官》（CIO）杂志解释说，他们的团队最初认为，由于开发人员在提交代码之前使用了人工智能工具来帮助审核代码，因此开发人员将能够编写更多代码，缺陷率也可能会下降。 但他们的研究结果却打破了这些预期。

据《首席信息官》报道，事实上，研究发现，使用 Copilot 的开发人员在代码中引入的错误多出了 41%。 Uplevel 也没有发现任何证据表明人工智能助手有助于防止开发人员倦怠。

这一消息反驳了 Copilot 的制造商 GitHub 和其他人工智能编程工具支持者关于大幅提高工作效率的说法。 早些时候，GitHub 赞助的一项研究称，在 Copilot 的帮助下，开发人员编写代码的速度提高了 55%。

鉴于 Copilot 早期的一份报告显示近30% 的新代码涉及人工智能辅助，开发人员确实看到了积极的成果，而这一数字很可能还在增长。 不过，使用量增加背后的另一种可能是编程员产生了依赖性，变得懒惰。

在实际工作中，人工智能编程助手的使用体验迄今为止好坏参半。 在定制软件公司 Gehtsoft USA，首席执行官 Ivan Gekht 告诉《首席信息官》，他们发现人工智能生成的代码在理解和调试方面具有挑战性，因此有时从头开始重写会更有效率。

去年的一项研究显示，ChatGPT 答错了一半以上的编程问题，这似乎印证了他的看法，尽管自那以后，聊天机器人经过多次更新后已经有了很大改进。

Gekht 补充说，软件开发"90% 是大脑的功能--理解需求、设计系统、考虑限制和约束"，而将所有这些转化为代码则是工作中较为简单的部分。

然而，在云计算提供商 Innovative Solutions，首席技术官 Travis Rehl 报告说，由于使用了 Claude Dev 和 Copilot 等工具，开发人员的工作效率提高了三倍。

这些相互矛盾的说法凸显出，我们可能仍处于人工智能编程助手的早期阶段。 但随着工具的快速发展，谁知道它们的未来会走向何方呢？