网易首页 > 网易号 > 正文 申请入驻

AI修Bug快但修不全:Kubernetes实测暴露Agent硬伤

0
分享至

AI编程助手能自动找Bug、修代码,这件事听起来很美好。但一位工程师把Claude塞进Kubernetes代码库实测后发现:它们确实能定位孤立问题,却经常搞不清改动会在系统哪里引发连锁反应。这项发表在CNCF博客的研究,直接挑战了"提升代码检索能力就能让自动修Bug变强"的流行假设。

作者Brandon Foley把AI Agent接入了日常工作流,用Kubernetes仓库的真实PR当基准测试。这些不是人造的玩具问题,而是活跃贡献者正在修复的真实Bug。测试规则很苛刻:Agent只能看到Issue描述,看不到PR说明,更看不到最终补丁。相当于闭卷考试,而且考的是生产环境里的难题。


九份Bug报告覆盖了kubelet、调度器、网络、存储和应用子系统。三种配置同台竞技:纯RAG检索(用KAITO RAG引擎+Qdrant,BM25关键词匹配混嵌入语义搜索)、混合模式(必须先RAG发现再访问本地文件)、纯本地(完整代码库克隆,无检索索引)。所有变量锁死:同一模型Claude Opus 4.6、同一5分钟超时、同一输出格式,唯一区别是Agent怎么看代码。

速度和成本的数据很干净。纯RAG平均76秒,最快——它跳过文件系统导航,直接基于检索片段生成代码。混合模式最慢,平均约两分半,强制的RAG前置阶段增加了开销。token经济层面,混合模式也最贵,不是因为它读更多代码,而是模型调用次数最多;由于API无状态,每次调用都要重放完整对话历史。调用次数成了成本和延迟的最大推手。

但正确性的图景就复杂多了。主导失败模式不是修错,而是修不全。Agent处理了"主Bug",却漏掉相邻改动;修好了一种实现,忽略了第二种;补丁打在了核心问题,却忘了依赖集成逻辑的必要调整。或者在遇到代码库里已有的部分修复时就停手了。共同模式是:Agent不会问"还有什么需要改?"一旦眼前问题看似解决,就停止了。

另一个模式关于架构选择。当有选择时,Agent倾向于引入新抽象而非复用现有方案。一个测试用例中,正确修复使用了已有的RestartCount字段;所有Agent却都引入了新的Attempt字段——功能正确,但架构负担更重。

研究表明,检索策略影响发现能力,但不影响推理质量。强制使用RAG在某些情况下改善了结果,因为

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国总统访华专机,“空军一号”到底有多牛?为何中国造不出来?

美国总统访华专机,“空军一号”到底有多牛?为何中国造不出来?

探谜未知世界
2026-05-15 17:21:17
什么是“喜丧”?按照古今标准,多少岁去世才算得上是“喜丧”?

什么是“喜丧”?按照古今标准,多少岁去世才算得上是“喜丧”?

香姨谈史
2026-05-16 06:45:05
原来他是梁靖崑父亲,身价上亿的企业家,如今父凭子贵获3万奖金

原来他是梁靖崑父亲,身价上亿的企业家,如今父凭子贵获3万奖金

墨印斋
2026-05-16 13:10:39
美国人为了省2万美元,去墨西哥偷渡比亚迪电车,这个世界太颠了

美国人为了省2万美元,去墨西哥偷渡比亚迪电车,这个世界太颠了

时评人李文君
2026-05-15 18:52:11
巴萨官方致谢莱万:你如星辰降临,如传奇离去,谢谢你

巴萨官方致谢莱万:你如星辰降临,如传奇离去,谢谢你

懂球帝
2026-05-16 19:32:12
零跑汽车一季度亏损3.9亿元,毛利率不足10%,全年销量与利润目标不变,将推第二品牌

零跑汽车一季度亏损3.9亿元,毛利率不足10%,全年销量与利润目标不变,将推第二品牌

红星资本局
2026-05-16 16:28:06
北京有个地下车库着火了

北京有个地下车库着火了

靠山屯闲话
2026-05-16 18:37:35
人类财富天花板!马斯克身家飙升至5.8万亿,一人可敌160国

人类财富天花板!马斯克身家飙升至5.8万亿,一人可敌160国

爱看剧的阿峰
2026-05-15 18:33:01
以色列参与欧洲歌唱大赛,西班牙、荷兰、冰岛等国宣布退出,西班牙首相:不能对非法战争和种族灭绝保持沉默

以色列参与欧洲歌唱大赛,西班牙、荷兰、冰岛等国宣布退出,西班牙首相:不能对非法战争和种族灭绝保持沉默

鲁中晨报
2026-05-16 14:30:03
马斯克面前摆了9个杯子?这不是炫富,这是顶级国宴的通关文牒

马斯克面前摆了9个杯子?这不是炫富,这是顶级国宴的通关文牒

西楼知趣杂谈
2026-05-16 06:20:14
“已建好的都不敢开业”,民营医院已倒闭4000家

“已建好的都不敢开业”,民营医院已倒闭4000家

健识局
2026-05-14 19:25:57
1.1亿美元拿下,世界杯离不开中国!央视获得2026世界杯版权!

1.1亿美元拿下,世界杯离不开中国!央视获得2026世界杯版权!

海浪星体育
2026-05-15 14:50:47
海豹突击队的2分钟入睡法,失眠的人该试试了

海豹突击队的2分钟入睡法,失眠的人该试试了

晚风也遗憾
2026-05-14 07:48:01
特别法庭启动程序,乌克兰外长披露战犯名单,乌军北线传捷报

特别法庭启动程序,乌克兰外长披露战犯名单,乌军北线传捷报

史政先锋
2026-05-16 12:08:52
一夜降价2000元!库克来中国后深夜送上大礼,国产机真慌了?

一夜降价2000元!库克来中国后深夜送上大礼,国产机真慌了?

科技专家
2026-05-15 14:28:20
金价、银价大跌才刚开始

金价、银价大跌才刚开始

东方豪侠
2026-05-16 17:30:58
成人片女星许诺萨福诺夫夺欧冠将共度良宵,球员妻子爆粗回应

成人片女星许诺萨福诺夫夺欧冠将共度良宵,球员妻子爆粗回应

懂球帝
2026-05-14 15:58:14
特朗普访华硬核安保曝光!警卫只许带手枪,全车70辆保驾护航

特朗普访华硬核安保曝光!警卫只许带手枪,全车70辆保驾护航

野渡舟山人
2026-05-15 19:56:21
馒头被点名!医生直言:馒头冷冻24小时,抗性淀粉翻倍控糖护肠

馒头被点名!医生直言:馒头冷冻24小时,抗性淀粉翻倍控糖护肠

健康之光
2026-05-15 20:25:11
全球资产爆跌,新的鬼故事来了

全球资产爆跌,新的鬼故事来了

大何日拱一卒
2026-05-15 23:04:20
2026-05-16 20:48:49
字节漫游指南
字节漫游指南
有态度网友ytd
4074文章数 45关注度
往期回顾 全部

科技要闻

涨的是车价,要的是老命

头条要闻

涉及五个方面 中美经贸磋商初步成果公布

头条要闻

涉及五个方面 中美经贸磋商初步成果公布

体育要闻

马刺2号,少年老成,这集看过?

娱乐要闻

谢霆锋北京街头骑行被偶遇,侧颜帅炸

财经要闻

造词狂魔贾跃亭

汽车要闻

高尔夫GTI刷新纽北纪录 ID. Polo GTI迎全球首秀

态度原创

家居
本地
数码
游戏
公开课

家居要闻

110㎡淡而有致的生活表达

本地新闻

用苏绣的方式,打开江西婺源

数码要闻

iPhone用户闭眼入!小米耳夹耳机完美适配苹果 通话录音更好用

LCK第二赛段:大难不死,必有后福!T1让一追二,三局战胜GEN

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版