AI辅助编程产生的问题增多研究显示缺陷率高1.7倍

根据CodeRabbit最新发布的报告，AI代码生成技术在完全主导软件开发之前，仍有一些问题需要解决。与人类编写的代码相比，AI生成的代码在拉取请求分析中发现的问题数量增加了1.7倍。

AI编程助手已成为软件开发工作流程的标准组成部分，但开发人员对此提出了警告。平均而言，AI生成代码的拉取请求每次发现10.83个问题，而人类编写的代码平均只有6.45个问题。AI协作编写代码的拉取请求也显示出问题数量的更高峰值。

根据CodeRabbit的分析，分布情况更为重要：AI生成的拉取请求具有更长的尾部分布，这意味着它们产生了更多"繁忙"的审查。AI拉取请求在多个方面都更难审查。采用AI编程工具的团队应该预期更高的差异性和更频繁的拉取请求问题峰值，需要更深入的审查。

总体而言，AI生成代码的拉取请求中发现的问题主要与逻辑和正确性相关。但在包括正确性、可维护性、安全性和性能在内的每个主要类别中，AI协作编写的代码始终比仅由人类生成的代码产生更多问题。

12月17日发布的报告中，CodeRabbit分析了470个开源GitHub拉取请求，其中包括320个AI协作编写的拉取请求和150个可能仅由人类生成的请求。报告结果表明："AI加速了输出，但也放大了某些类别的错误。"

报告还发现，AI协作编写的拉取请求中安全问题持续增加。虽然注意到的漏洞中没有一个是AI生成代码独有的，但它们出现的频率明显更高，增加了AI辅助开发的整体风险。AI会犯危险的安全错误，开发团队必须更好地发现这些错误。

不过，AI也有一些优势。拼写错误在人类编写的代码中几乎是AI代码的两倍（18.92对10.77）。这可能是因为人类程序员编写了更多的内联文本和注释，或者仅仅是因为开发人员"拼写不好"。可测试性问题在人类代码中也出现得更频繁（23.65对17.85）。

尽管如此，整体研究结果表明，随着AI生成代码成为工作流程的标准部分，需要建立防护措施。应该预先提供项目特定的上下文，让模型访问约束条件，如不变量、配置模式和架构规则。为了减少可读性、格式化和命名方面的问题，应该应用严格的CI规则。对于正确性，开发人员应该要求对任何重要的控制流进行合并前测试。

其他发现包括：

严重性随着AI的使用而升级，出现更多关键和重大问题。AI引入的命名不一致性增加了近两倍，经常出现不清晰的命名、术语不匹配和通用标识符。AI代码"看起来正确"，但经常违反本地习惯用法或结构。AI生成的代码经常创建与实际宕机相关的问题。性能回归虽然罕见，但主要由AI驱动。错误的排序、错误的依赖流或并发原语的误用在AI拉取请求中出现得更频繁。格式化问题在AI拉取请求中的出现频率是人类代码的2.66倍。

Q&A

Q1：AI生成的代码比人类代码产生多少倍的问题？

A：根据CodeRabbit的报告，AI生成的代码在拉取请求分析中发现的问题数量是人类编写代码的1.7倍。具体来说，AI生成代码的拉取请求平均发现10.83个问题，而人类编写的代码平均只有6.45个问题。

Q2：AI编程助手在哪些方面表现比人类更好？

A：AI在某些方面确实有优势。拼写错误在人类编写的代码中几乎是AI代码的两倍（18.92对10.77），可测试性问题在人类代码中也出现得更频繁（23.65对17.85）。这可能是因为人类程序员编写了更多的内联文本和注释。

Q3：使用AI编程工具的团队应该采取哪些防护措施？

A：团队应该预先提供项目特定的上下文，让模型访问约束条件如不变量、配置模式和架构规则；应用严格的CI规则来减少可读性和格式化问题；要求对重要控制流进行合并前测试；建立安全默认设置；采用AI感知的拉取请求检查清单；使用第三方代码审查工具。