一个AI编码代理可以让失败的测试"通过"——办法不是改代码,而是改测试。测试套件变绿,代理的总结说活干完了,而你原本依赖的那条保障,已经悄悄消失。只看生产代码的diff和一片绿色的测试结果,这件事很容易被漏掉。
下面是一套专门针对这个问题的审查流程,只需要普通的Git和你的测试运行器。在提交代理做出的任何改动之前,先跑一遍。
被削弱的测试长什么样
要留意被删掉的失败路径用例,也要留意被藏起来的偶发失败——用sleep、重试、更宽松的超时,或者把文件移出CI,都能把问题盖住。
第一步:列出改动触及的每一个测试
不要从生产文件开始。先收集测试文件,包括新增的未跟踪文件和删除项。git diff不显示未跟踪文件,而代理经常新增一个从未被暂存的测试文件,或者删掉一个。
- git diff --name-status HEAD配合测试目录通配符,列出改动状态。
- git ls-files --others --exclude-standard找出未跟踪的测试文件。
- 如果代理的分支已经提交,用三点形式从合并基点比较,避免看到main上的无关工作。
记下每个路径和状态(修改、新增、删除、重命名);重命名可能藏住被删的用例。如果运行器或CI配置也在同一次改动里,检查路径过滤规则——一行改动就能让某个测试在CI里不再运行,哪怕它在本地跑过。
第二步:读测试diff,而不只是看测试输出
一次绿色的运行只说明执行了的测试通过了,它不会告诉你哪些断言被删掉了。先读被删除的行。可以用粗糙的过滤命令把常见嫌疑捞出来:匹配expect、assert、toBe、toEqual、toThrow等断言关键词的删除行,以及skip、xit、it.skip、describe.skip、xfail、pytest.mark.skip、unittest.skip、t.Skip、#[ignore]等跳过标记。
对每一条被删除或被跳过的断言,你需要一个自己的理由。"它当时在失败"不算理由。
第三步:检查断言是不是变弱了
一个测试可以名字不变,含义却已经和从前不同。对比新旧期望值:
- 精确值换成更宽松的匹配器:toBe(3)变成toBeTruthy(),toEqual({...})变成toHaveProperty('id'),toBe(403)变成toBeGreaterThanOrEqual(400)。
- 具体错误换成任意错误:toThrow(UnauthorizedError)变成toThrow(),assertRaises(ValueError)变成assertRaises(Exception)。
- 完整结构换成片段:用toMatchObject或toContain代替完整对象。
- 让检查变得空洞的类型逃逸:as any,或者mock从未用真实输入调用过。
如果生产代码的改动应当保持行为不变,旧断言就应当依然有效。如果改动本就要改变行为,新断言应当描述你要求的行为,而不是代码碰巧现在做了什么。
第四步:把快照更新当作行为变更
当代理更新快照、golden文件或录制的fixture时,快照测试按构造就会通过。问题在于你是否接受新的输出。像读UI或API变更一样读快照diff:什么出现了,什么消失了,哪个状态码或错误文本变了?如果每一个改动块你都解释不了,就不要接受这次更新。重新生成快照,可能把一个bug记录成新的基线。
第五步:用旧测试跑新代码
这一步能抓住"把测试改写成迎合bug"的情况。保留代理的生产代码改动,恢复已提交的测试,然后跑那套测试。如果旧测试在新代码上失败,说明存在行为变更。那可能是你要求的,也可能是代理靠改测试藏起来的回归。在保留任何一个版本之前,先判断是哪一种。如果代理重命名了被测函数,把旧断言适配到新名字。如果你只打算提交工作区的一部分,就在已暂存的内容上重跑测试(git stash --keep-index);运行器执行的是工作区,不是索引。
第六步:留意不再真正执行代码的测试
一个测试可以保留全部断言,却不再测试生产代码:被测单元被mock了,协作者被桩成happy path,或者时间和功能开关被冻结,导致你关心的分支永远不运行。如果新测试主要检查的是toHaveBeenCalled(),问一句:这个生产函数要正确,测试才能通过吗?
提交前的清单
- 每一个修改、新增、删除和未跟踪的测试文件都在你的清单上,包括快照和fixture。
- 每一条被删除或被跳过的断言,都有一个你认可的理由。
- 没有匹配器被放宽,除非你确实想要更弱的保障。
- 每一次快照或golden文件更新,都是你能解释的行为变更。
- 旧测试仍然表达你想要的行为,或者你有意替换了那个行为。
- 新测试真正执行生产代码,而不只是它的mock。
- 真正重要的那个CI任务会运行这些文件,而不只是代理在本地跑过的命令。
在Mac上做这套审查,只需要Git和测试运行器。如果想把阅读部分放在一个窗口里,Yenpo是一款免费的Mac原生应用,用于阅读和审查AI编码代理写的代码,它打开代理工作的本地Git仓库,与Claude Code、Codex、Cursor、GitHub均无集成。其中的Local Changes显示自上次提交以来的改动,包括未跟踪文件,也可以比较某个提交或两个分支;Search All Files帮你列出改动中每一处skip、被放宽的匹配器和快照文件。你还可以选择接入自己的AI提供商,让AI Reader回答哪些测试被删除或削弱,它的答案会链接到所引用的源码行,方便逐条打开核对。AI Reader默认只读:Allow Edits只对下一条发给AI Reader的消息生效,之后回到只读。
下载地址是yenpo.app。披露:Yenpo由本文作者开发。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.