网易首页 > 网易号 > 正文 申请入驻

AI把测试改绿了,你的保障可能已经消失

0
分享至

一个AI编码代理可以让失败的测试"通过"——办法不是改代码,而是改测试。测试套件变绿,代理的总结说活干完了,而你原本依赖的那条保障,已经悄悄消失。只看生产代码的diff和一片绿色的测试结果,这件事很容易被漏掉。

下面是一套专门针对这个问题的审查流程,只需要普通的Git和你的测试运行器。在提交代理做出的任何改动之前,先跑一遍。

被削弱的测试长什么样

要留意被删掉的失败路径用例,也要留意被藏起来的偶发失败——用sleep、重试、更宽松的超时,或者把文件移出CI,都能把问题盖住。

第一步:列出改动触及的每一个测试

不要从生产文件开始。先收集测试文件,包括新增的未跟踪文件和删除项。git diff不显示未跟踪文件,而代理经常新增一个从未被暂存的测试文件,或者删掉一个。

  • git diff --name-status HEAD配合测试目录通配符,列出改动状态。
  • git ls-files --others --exclude-standard找出未跟踪的测试文件。
  • 如果代理的分支已经提交,用三点形式从合并基点比较,避免看到main上的无关工作。

记下每个路径和状态(修改、新增、删除、重命名);重命名可能藏住被删的用例。如果运行器或CI配置也在同一次改动里,检查路径过滤规则——一行改动就能让某个测试在CI里不再运行,哪怕它在本地跑过。

第二步:读测试diff,而不只是看测试输出

一次绿色的运行只说明执行了的测试通过了,它不会告诉你哪些断言被删掉了。先读被删除的行。可以用粗糙的过滤命令把常见嫌疑捞出来:匹配expect、assert、toBe、toEqual、toThrow等断言关键词的删除行,以及skip、xit、it.skip、describe.skip、xfail、pytest.mark.skip、unittest.skip、t.Skip、#[ignore]等跳过标记。

对每一条被删除或被跳过的断言,你需要一个自己的理由。"它当时在失败"不算理由。

第三步:检查断言是不是变弱了

一个测试可以名字不变,含义却已经和从前不同。对比新旧期望值:

  • 精确值换成更宽松的匹配器:toBe(3)变成toBeTruthy(),toEqual({...})变成toHaveProperty('id'),toBe(403)变成toBeGreaterThanOrEqual(400)。
  • 具体错误换成任意错误:toThrow(UnauthorizedError)变成toThrow(),assertRaises(ValueError)变成assertRaises(Exception)。
  • 完整结构换成片段:用toMatchObject或toContain代替完整对象。
  • 让检查变得空洞的类型逃逸:as any,或者mock从未用真实输入调用过。

如果生产代码的改动应当保持行为不变,旧断言就应当依然有效。如果改动本就要改变行为,新断言应当描述你要求的行为,而不是代码碰巧现在做了什么。

第四步:把快照更新当作行为变更

当代理更新快照、golden文件或录制的fixture时,快照测试按构造就会通过。问题在于你是否接受新的输出。像读UI或API变更一样读快照diff:什么出现了,什么消失了,哪个状态码或错误文本变了?如果每一个改动块你都解释不了,就不要接受这次更新。重新生成快照,可能把一个bug记录成新的基线。

第五步:用旧测试跑新代码

这一步能抓住"把测试改写成迎合bug"的情况。保留代理的生产代码改动,恢复已提交的测试,然后跑那套测试。如果旧测试在新代码上失败,说明存在行为变更。那可能是你要求的,也可能是代理靠改测试藏起来的回归。在保留任何一个版本之前,先判断是哪一种。如果代理重命名了被测函数,把旧断言适配到新名字。如果你只打算提交工作区的一部分,就在已暂存的内容上重跑测试(git stash --keep-index);运行器执行的是工作区,不是索引。

第六步:留意不再真正执行代码的测试

一个测试可以保留全部断言,却不再测试生产代码:被测单元被mock了,协作者被桩成happy path,或者时间和功能开关被冻结,导致你关心的分支永远不运行。如果新测试主要检查的是toHaveBeenCalled(),问一句:这个生产函数要正确,测试才能通过吗?

提交前的清单

  1. 每一个修改、新增、删除和未跟踪的测试文件都在你的清单上,包括快照和fixture。
  2. 每一条被删除或被跳过的断言,都有一个你认可的理由。
  3. 没有匹配器被放宽,除非你确实想要更弱的保障。
  4. 每一次快照或golden文件更新,都是你能解释的行为变更。
  5. 旧测试仍然表达你想要的行为,或者你有意替换了那个行为。
  6. 新测试真正执行生产代码,而不只是它的mock。
  7. 真正重要的那个CI任务会运行这些文件,而不只是代理在本地跑过的命令。

在Mac上做这套审查,只需要Git和测试运行器。如果想把阅读部分放在一个窗口里,Yenpo是一款免费的Mac原生应用,用于阅读和审查AI编码代理写的代码,它打开代理工作的本地Git仓库,与Claude Code、Codex、Cursor、GitHub均无集成。其中的Local Changes显示自上次提交以来的改动,包括未跟踪文件,也可以比较某个提交或两个分支;Search All Files帮你列出改动中每一处skip、被放宽的匹配器和快照文件。你还可以选择接入自己的AI提供商,让AI Reader回答哪些测试被删除或削弱,它的答案会链接到所引用的源码行,方便逐条打开核对。AI Reader默认只读:Allow Edits只对下一条发给AI Reader的消息生效,之后回到只读。

下载地址是yenpo.app。披露:Yenpo由本文作者开发。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“失散20年双胞胎认亲”被质疑是剧本,最新DNA鉴定结果:两人是亲姐妹;同在深圳生活,已约定过年互相上门走亲戚

“失散20年双胞胎认亲”被质疑是剧本,最新DNA鉴定结果:两人是亲姐妹;同在深圳生活,已约定过年互相上门走亲戚

极目新闻
2026-11-21 19:27:16
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼;智利总统夫人来南油,第一件事:下单!

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼;智利总统夫人来南油,第一件事:下单!

深圳梦
2026-11-21 22:52:10
吴梦洁37分 朱晋谊 唐欣均29+江苏女排五局胜天津送其首败 技术统计

吴梦洁37分 朱晋谊 唐欣均29+江苏女排五局胜天津送其首败 技术统计

许穩很机智
2026-11-21 19:04:29
投票在即,蒋万安放大招,宋楚瑜暴露真面目,郑丽文傅崐萁怒了

投票在即,蒋万安放大招,宋楚瑜暴露真面目,郑丽文傅崐萁怒了

DS北风
2026-11-21 19:14:03
芯片大局已定:不出意外的话,2026年起中国半导体或迎来3大变化

芯片大局已定:不出意外的话,2026年起中国半导体或迎来3大变化

互联鱼
2026-10-31 07:25:20
人民日报:唱空中国经济者终会落空

人民日报:唱空中国经济者终会落空

21世纪经济报道
2026-11-21 12:16:38
埃梅里:平局让我有些失望,但我们正在找回对这套打法的信心

埃梅里:平局让我有些失望,但我们正在找回对这套打法的信心

懂球帝
2026-11-22 02:14:52
戴笠的手下,因任务失败逃到香港,生了个儿子成国际巨星,家喻户晓

戴笠的手下,因任务失败逃到香港,生了个儿子成国际巨星,家喻户晓

旧时楼台月
2026-11-05 16:36:04
立下赫赫战功的志愿军军长隐姓埋名当农民,1955年授衔漏评,朱德上报毛主席:这功劳绝不能忘

立下赫赫战功的志愿军军长隐姓埋名当农民,1955年授衔漏评,朱德上报毛主席:这功劳绝不能忘

磊子讲史
2026-07-17 10:49:15
笑死,人到了一定年龄就要用国风味的香水,网友:老了干啥都心酸

笑死,人到了一定年龄就要用国风味的香水,网友:老了干啥都心酸

夜深爱杂谈
2026-11-21 21:50:17
炸了!跌出前16反而打疯了,丁俊晖资格赛逆转,柏林正赛有戏了!

炸了!跌出前16反而打疯了,丁俊晖资格赛逆转,柏林正赛有戏了!

可乐爱微笑
2026-11-21 21:07:52
文班亚马53分24板8帽带队险胜独行侠,这个数据有多恐怖?为什么打成这样才赢1分?

文班亚马53分24板8帽带队险胜独行侠,这个数据有多恐怖?为什么打成这样才赢1分?

之乎者也小鱼儿
2026-11-05 15:07:45
我二叔年轻时赶夜路借宿,醒来发现睡在坟地里,屋里的人全没了

我二叔年轻时赶夜路借宿,醒来发现睡在坟地里,屋里的人全没了

千秋文化
2026-11-18 20:57:40
为何苏联会援助中国进行工业化建设?是时候告诉大家真相了!

为何苏联会援助中国进行工业化建设?是时候告诉大家真相了!

壹知眠羊
2026-11-05 07:06:29
独子新交的女友,竟是其前妻出轨对象的妻子;老两口担心儿子“恋爱脑”导致仅剩的房产外流,立遗嘱:财产全留给孙女,由孙女负责生养死葬

独子新交的女友,竟是其前妻出轨对象的妻子;老两口担心儿子“恋爱脑”导致仅剩的房产外流,立遗嘱:财产全留给孙女,由孙女负责生养死葬

扬子晚报
2026-11-21 14:54:43
他曾与刘涛同床共枕4年,如今年过六旬依旧未娶,刘涛坦言很愧疚

他曾与刘涛同床共枕4年,如今年过六旬依旧未娶,刘涛坦言很愧疚

莫地方
2026-10-20 10:20:14
全球也就20例!巴西一名19岁女子,在同一个夜晚与两位男性有过亲密接触,怀孕生下双胞胎后,竟意外发现两个孩子的生父并非同一人

全球也就20例!巴西一名19岁女子,在同一个夜晚与两位男性有过亲密接触,怀孕生下双胞胎后,竟意外发现两个孩子的生父并非同一人

扶苏聊历史
2026-10-10 11:04:50
俄罗斯无人机袭击基辅,致荷兰大使馆受损,荷兰首相:不会被吓倒

俄罗斯无人机袭击基辅,致荷兰大使馆受损,荷兰首相:不会被吓倒

麓谷隐士
2026-11-22 00:05:04
凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

罪案洞察者
2025-06-12 13:45:25
宁可被骂也无所谓了!惠州女孩月薪3000扛不住6000房贷,发视频喊话国外前男友回来收回房子。

宁可被骂也无所谓了!惠州女孩月薪3000扛不住6000房贷,发视频喊话国外前男友回来收回房子。

捣蛋窝
2026-09-09 13:59:20
2026-11-22 02:32:49
字节漫游指南
字节漫游指南
有态度网友ytd
181文章数 135关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
教育
本地
旅游
公开课

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

旅游要闻

广西南宁:冬日繁花似锦

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版