网易首页 > 网易号 > 正文 申请入驻

AI说bug修好了,回归测试真能证明吗?有人做了个工具

0
分享至

AI编程工具能生成一个修复,然后告诉你bug已经解决了。但有个问题被跳过了:那条回归测试,真的证明了修复有效吗?

一位开发者为此写了FixProof,一个MIT许可的开源工具,专门检查AI生成bug修复背后的证据链。它不负责修bug,只负责回答一件事:这次修复,有没有被测试真正证明过。

一条四步的证明链

FixProof的思路很直接:失败在前 → 通过在后 → 检查测试完整性警告 → 给出结论。

具体做法是,把选定的回归测试分别跑在修复前的提交代码和修复后的提交代码上。修复之后测试通过,本身并不够。FixProof还会盯住几类可疑信号:

  • 测试被删掉了
  • 测试被跳过了
  • 断言被改动,或者可能被削弱了
  • 测试证据不完整、含义模糊

目的只有一个:让那些回归测试从未真正复现原始问题的改动,更难伪装成"已验证"。

四种结论,不留模糊地带

跑完之后,FixProof只会给出四种结果之一:

  • verified(已验证):修复前复现了回归,修复后通过,且没有任何完整性警告
  • failed(失败):最终测试仍然不通过
  • inconclusive(无法定论):没有足够可靠的证据证明修复成立
  • needs-review(需人工复核):失败在前、通过在后的证据存在,但测试完整性警告需要人来判断

这四种结果里,后两种才是这个工具真正想强调的部分。测试通过不等于证据成立,证据成立也不等于可以自动放行。

支持哪些测试运行器

FixProof v1.0目前支持Node.js的node:test、Jest、Vitest、pytest,以及显式配置的可信项目命令。此外还带GitHub Actions集成和一个基于浏览器的报告查看器。

一次基础验证长这样:

node bin/fixproof.mjs verify \
--repo ../my-project \
--base HEAD~1 \
--head HEAD \
--test tests/regression.test.mjs \
--output fixproof-report.json

运行后会生成一份报告,描述改动前后各自发生了什么,以及发现了哪些完整性警告。报告可以直接在浏览器查看器里打开。

它不声称什么

FixProof明确划了一条边界:verified结果不代表整个应用没有bug。

它验证的是一个窄得多的问题——在受测范围和环境下,选定的回归证据是否可靠地证明了这一处修复。作者认为,把这条边界说清楚很重要,尤其是在AI编程代理参与进来的时候。

项目目前已经到v1.0.0,代码在GitHub上,附一个在线演示,MIT许可开源。

作者现在想找使用AI辅助编程工具的开发者,拿真实的bug修复来试。他更想知道的是:验证在哪些地方会变成无法定论,哪些真实项目配置目前跑起来困难,报告有没有把证据讲清楚,以及加哪些集成会让工具更有用。用他的话说,眼下找出局限,比单纯收集star更有价值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
震惊全美!美国二战标志性雕像被“斩首”

震惊全美!美国二战标志性雕像被“斩首”

环球时报国际
2026-10-23 18:42:34
李昌钰安葬仪式今日举行!夫人发声将按先生生前安排建博物馆

李昌钰安葬仪式今日举行!夫人发声将按先生生前安排建博物馆

南方都市报
2026-10-23 11:54:11
颁奖3天倒计时!金球赔率:凯恩降至1.3,亚马尔由2.37升至3.75

颁奖3天倒计时!金球赔率:凯恩降至1.3,亚马尔由2.37升至3.75

迎男而上
2026-10-24 00:56:06
1941年日本人镜头中的北平,日军在郊外农田里热火朝天地种水稻

1941年日本人镜头中的北平,日军在郊外农田里热火朝天地种水稻

大运河时空
2026-10-22 19:20:05
气象站——什么是森林防火气象站?

气象站——什么是森林防火气象站?

测控技术有限公司
2026-03-20 11:44:59
梅西:父亲希望我获得阿斯图里亚斯公主奖,这超越了球场表现

梅西:父亲希望我获得阿斯图里亚斯公主奖,这超越了球场表现

懂球帝
2026-10-23 01:33:08
俄罗斯对华石油出口折扣大幅减少

俄罗斯对华石油出口折扣大幅减少

俄罗斯卫星通讯社
2026-10-23 15:38:46
高校教师只敢“自保式教学”?上课只敢念大纲、下课不敢跟学生说话,班里那个匿名“信息员”,到底在监督什么?

高校教师只敢“自保式教学”?上课只敢念大纲、下课不敢跟学生说话,班里那个匿名“信息员”,到底在监督什么?

高教经纬88
2026-10-21 08:40:03
都是哪些人,在鼓噪“驱逐中国大使”?

都是哪些人,在鼓噪“驱逐中国大使”?

补壹刀
2026-10-22 23:24:33
4-2-3-1阵型出炉:罗德里与费尔明进巴萨国家德比首发

4-2-3-1阵型出炉:罗德里与费尔明进巴萨国家德比首发

星河漫山野
2026-10-24 03:18:38
134GB塞不进100GB光盘,实体版玩家开始理解索尼

134GB塞不进100GB光盘,实体版玩家开始理解索尼

Ping值焦虑
2026-10-23 06:30:45
随着美国6-1,世界杯最新积分榜:中国女足退居第二,16强诞生7席

随着美国6-1,世界杯最新积分榜:中国女足退居第二,16强诞生7席

侃球熊弟
2026-10-23 06:56:42
图片报:伦纳特-卡尔的社媒形象让拜仁高层不满

图片报:伦纳特-卡尔的社媒形象让拜仁高层不满

懂球帝
2026-10-23 18:07:46
中国面临两大战略缺口:一个是“台湾”问题,另一个曾动用300万大军才勉强堵住的致命防线

中国面临两大战略缺口:一个是“台湾”问题,另一个曾动用300万大军才勉强堵住的致命防线

林杰论事
2026-10-18 15:37:07
“鞋王”家族内斗新进展:终审确认儿媳上位决议有效,创始人另开新会议并当选,新诉讼又起

“鞋王”家族内斗新进展:终审确认儿媳上位决议有效,创始人另开新会议并当选,新诉讼又起

红星新闻
2026-10-23 16:59:21
孙坚自曝被家人当提款机,姐姐月子中心15万记他账上,养家又还债

孙坚自曝被家人当提款机,姐姐月子中心15万记他账上,养家又还债

观鱼听雨
2026-10-22 21:23:49
民政局满满的求生欲啊!提示纸条意外走红,“离婚不是工作人员造成的,请不要对工作人员有负面情绪”

民政局满满的求生欲啊!提示纸条意外走红,“离婚不是工作人员造成的,请不要对工作人员有负面情绪”

火山詩话
2026-10-23 14:37:30
越来越多人不锁电动车了,不是不怕偷,而是这三个原因很现实

越来越多人不锁电动车了,不是不怕偷,而是这三个原因很现实

沙雕小琳琳
2026-10-22 03:36:35
菲律宾人在棉兰老岛拍到辽宁舰,甲板上都是飞机或去澳大利亚

菲律宾人在棉兰老岛拍到辽宁舰,甲板上都是飞机或去澳大利亚

三叔的装备空间
2026-10-23 22:35:33
24小时“三面围台” 解放军释放怎样信号?

24小时“三面围台” 解放军释放怎样信号?

看看新闻Knews
2026-10-22 20:22:41
2026-10-24 07:47:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
229文章数 108关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

女子收酒店停车弹窗误会丈夫开房 丈夫开视频:在喂鸡

头条要闻

女子收酒店停车弹窗误会丈夫开房 丈夫开视频:在喂鸡

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

本地
房产
手机
时尚
公开课

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

手机要闻

苹果CEO约翰·特纳斯现身奥斯汀 门店开门迎接iPhone Duo首发用户

好看,从来不止身上这一处

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版