网易首页 > 网易号 > 正文 申请入驻

71.9%的bug被AI揪出,人类审查员还留得住吗?

0
分享至

代码写得比人审得快,这是眼下不少团队的真实处境。于是有人动了念头:干脆让AI来审。卡内基梅隆大学和微软的一篇新论文,给出了一个不太好听的答案——最好的AI代码审查员,也只能在它给出的前5条评论里,抓住71.9%的已知bug。

这个数字来自他们新构建的评测集 CRBugBench。研究团队没有沿用过去的做法,而是搭了1,800个代码审查任务,每一个都对应一次真实提交:这次提交引入了一个bug,而且这个bug已经被人类确认并修复过。


评测方式也做了调整。Agent在沙箱里审查原始改动,再由AI裁判判断它给出的前几条发现里,有没有点中那个bug。这套流程绕开了旧基准的一个老毛病——拿AI的表现去对标人类的评论,而人类的评论本身可能只是吹毛求疵,也可能压根没发现真正的bug。

五个月,涨了24个百分点

成绩单上最亮眼的是 claude-opus-5,前5条评论命中71.9%的bug。作为对照,五个月前的 opus-4.6 这个数字是47.7%。短短五个月,提升了超过24个百分点,进步速度确实可观。

但论文同时给出了另一组数据,值得所有打算把审查工作交给AI的团队停下来想一想。在某一家公司的私有代码仓库上,同一个Agent的表现最多下滑了25.5%。原因不难理解:这些仓库里的bug,往往需要结合项目本身的上下文才能判断,而不是看一段孤立的改动就能识别。

换句话说,公开基准上的高分,未必能平移到你自己的代码库里。越是大型的、依赖大量背景知识的改动,Agent越容易看走眼。

该把它放在什么位置

论文给出的建议很克制:把审查Agent和人类审查员放在一起用,而不是让它取代谁。同时,把你仓库自己的知识喂给它——尤其是面对大型改动或强上下文依赖的改动时,这一点更关键。

71.9%这个数字,放在"能不能替代人类"这个问题下,显然还不够。它意味着每五个已知bug里,就有一个多没被前5条评论点出来。对于把代码质量当生命线的团队来说,这个漏网比例不是可以忽略的误差。

但换个角度看,五个月从47.7%到71.9%的爬升曲线,也说明这类工具的能力边界还在快速外扩。真正务实的做法,或许不是纠结"AI能不能审代码",而是想清楚它在你的流程里该站在哪个位置——是当第一道筛子,还是当那个帮你查漏的副手。

至少从这份论文的数据看,现在就把人类审查员请出流程,还早了点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
涉嫌在军队项目中行贿!星网宇达回应:正在跟军队那边沟通,目前经营一切正常

涉嫌在军队项目中行贿!星网宇达回应:正在跟军队那边沟通,目前经营一切正常

华夏时报
2026-10-14 19:54:03
特奥多罗下达命令,撤回全部驻北京全部国防武官及工作人员!

特奥多罗下达命令,撤回全部驻北京全部国防武官及工作人员!

叶老四
2026-10-15 08:46:06
懂车帝"东门健男"硬刚,怒发4条回应尊界测试

懂车帝"东门健男"硬刚,怒发4条回应尊界测试

大厂财经社
2026-10-13 13:29:38
台湾风气彻底变了,邱毅一语道破:岛内认为大陆解决台湾问题加快

台湾风气彻底变了,邱毅一语道破:岛内认为大陆解决台湾问题加快

白日追梦人
2026-10-14 22:19:46
歌手Solbi与演员李奎汉官宣结婚,婚礼定在2027年4月

歌手Solbi与演员李奎汉官宣结婚,婚礼定在2027年4月

影视情报室
2026-10-15 09:45:19
3战全胜!绿军5人上双大胜黄蜂 塔图姆19+8+6乔治10中2

3战全胜!绿军5人上双大胜黄蜂 塔图姆19+8+6乔治10中2

醉卧浮生
2026-10-15 09:50:51
美国人的社保退休金:强制缴费,多交多领,不交一分钱不能领

美国人的社保退休金:强制缴费,多交多领,不交一分钱不能领

小小河
2026-10-14 13:22:00
彩票出现断崖式暴跌,“2元中500万”为何没人信了?原因引人深思

彩票出现断崖式暴跌,“2元中500万”为何没人信了?原因引人深思

阿振观点
2026-08-21 05:38:20
中方反应神速,菲律宾搁浅船被拖走,中国绝不许仁爱礁事件重演

中方反应神速,菲律宾搁浅船被拖走,中国绝不许仁爱礁事件重演

叹知
2026-09-21 09:17:06
恭喜!TVB知名女星在日本剖腹生女,混血宝宝遗传优良基因颜值高

恭喜!TVB知名女星在日本剖腹生女,混血宝宝遗传优良基因颜值高

琴琴有氧运动
2026-10-15 07:36:10
嫁到乌克兰的华人感慨:别听媒体吹牛,乌克兰相当于我国三线城市

嫁到乌克兰的华人感慨:别听媒体吹牛,乌克兰相当于我国三线城市

福建睿平
2026-10-15 07:26:41
41岁童瑶看网球比赛美出圈,长袖T恤搭棕色工装裤,眉眼像章子怡

41岁童瑶看网球比赛美出圈,长袖T恤搭棕色工装裤,眉眼像章子怡

明星私服穿搭daily
2026-10-10 15:54:55
老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

健康科普365
2026-09-30 11:40:19
CBA被迫服软,新赛季要大变天,金主强势加入,带货比赛成笑话

CBA被迫服软,新赛季要大变天,金主强势加入,带货比赛成笑话

宗介说体育
2026-10-14 13:32:37
马斯克这回是真急了,直接开怼泽连斯基:“你玩得太过火了!”

马斯克这回是真急了,直接开怼泽连斯基:“你玩得太过火了!”

荆楚寰宇文枢
2026-10-14 23:39:22
悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

小莜读史
2026-10-12 09:38:33
彻底告别过往形象,巴尔德拉马被妻子剃去标志性金发

彻底告别过往形象,巴尔德拉马被妻子剃去标志性金发

懂球帝
2026-10-15 00:47:36
吃饭七分饱被推翻了?医生:老人过了75岁,吃饭尽量要做到这6点

吃饭七分饱被推翻了?医生:老人过了75岁,吃饭尽量要做到这6点

任医生聊健康
2026-10-15 08:50:22
又一起!25岁女博士生猝死!

又一起!25岁女博士生猝死!

新区晚参
2026-10-14 23:30:15
被停职审查、转移资产、搞办公室恋情,董明珠身上的标签是真是假

被停职审查、转移资产、搞办公室恋情,董明珠身上的标签是真是假

历史点行
2026-10-08 15:46:26
2026-10-15 11:04:49
我是一个粉刷匠2
我是一个粉刷匠2
有态度网友ytd
252文章数 171关注度
往期回顾 全部

科技要闻

国行苹果AI被曝12月上线,新Siri仍要等

头条要闻

著名女星被逮捕 飞机上拳击撕咬空乘企图强开舱门

头条要闻

著名女星被逮捕 飞机上拳击撕咬空乘企图强开舱门

体育要闻

30天30队·开拓者:利拉德?莫兰特?

娱乐要闻

陈小春弟弟被卖,多年不打扰另有隐情

财经要闻

洋餐饮的中国生意:红利消退后的集体交权

汽车要闻

不止大空间/纯电增程任选 小鹏MONA L05来了

态度原创

游戏
本地
教育
房产
军事航空

魔兽世界:历史记忆感最强的传奇匕首,见过第一款才是真大佬!

本地新闻

这个十一,林都伊春彻底出圈!

教育要闻

商务英语:同样条件下,为什么你总是被“公平”坑了?

房产要闻

突发!三亚超级万象城改规公示下架!

军事要闻

朝鲜潜射两种导弹

无障碍浏览 进入关怀版