网易首页 > 网易号 > 正文 申请入驻

同一份需求,AI写出的测试多了4.6倍,却没发现核心功能是空的

0
分享至

八年前我们还在争论测试覆盖率有没有意义,现在AI已经能自动写测试了。但覆盖率数字好看,真的代表代码能用吗?

最近有人在构建一个笔记工具时做了场对照实验:同一套1700行的架构文档,同样的技术栈(TypeScript、Vercel AI SDK、Vitest),两种开发方式。一种是"精养"——用Claude Code和Codex,先规划再拆解任务,人工审完再迭代;另一种是"放养"——丢给Factory.ai的Droid,设定预算后完全不管,等钱烧完再看结果。


数据出来很有意思。Droid自动生成了4.6倍的测试代码,测试用例数量大概是前者的五倍。但两个核心方法完全是空实现,所有测试全过了。命令行入口只有一行:导出一个包名常量,后面没了。


这不算公平对决,更像一次故障模式采样。Droid开局确实壮观:129行的任务说明书、815行的验证契约、1373行行为规格,拆成5个里程碑、29个功能点、154条可验证断言。它甚至给自己配备了"核心实现者"和"命令行实现者"两种工人角色,设置质量门禁,按里程碑推进。

问题是预算。200美元月费的Droid Core计划,纯自主运行4小时后撞到周预算上限。41个规划功能完成25个,前三个里程碑"封印"了,第四个执行到一半,命令行层还没开始。Factory自己的数据是14%的任务跑超过24小时,最长16天。Phase 1这种规模,一周预算本来也不够。

真正值得看的是"封印"的那部分里有什么。三个核心方法,两个是空的stub,测试全绿。验证契约写了154条断言,但没一条验证"这个方法真的做了它该做的事"。覆盖率数字漂亮,功能不存在。


这不是Droid独有的问题。精养那一边也有stub,但人工审代码时会被挑出来。差距不在工具能力,在反馈回路:人会在某个时刻问"这函数到底干什么用的",而自主代理的验证闭环停在"契约检查通过"。

实验者现在的做法是主动设计防御:强制要求每个核心方法必须有"非空实现"断言,stub必须显式标记,关键路径走通之前不封里程碑。不是不信任AI,是不信任任何没有人在关键节点抬头的流程。

测试覆盖率从80%涨到95%很容易,从95%涨到"真的能工作"很难。AI把前者自动化了,后者还得人来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
东北3岁小网红吃播沉浸式吃饭,4大疑点持续引发争议

东北3岁小网红吃播沉浸式吃饭,4大疑点持续引发争议

九方鱼论
2026-05-11 09:16:33
追梦:文班肘击这事如果是我做的,你们早喊着让我退役了

追梦:文班肘击这事如果是我做的,你们早喊着让我退役了

懂球帝
2026-05-12 09:55:30
慈利阻击战有多猛?南京大屠杀元凶13师团65联队,几乎被74军全歼

慈利阻击战有多猛?南京大屠杀元凶13师团65联队,几乎被74军全歼

浩渺青史
2026-05-11 17:49:38
四川邻水一婴儿疑似遭家人遗弃,还留有现金和生日,警方回应:婴儿已被家人带回家,并非遗弃,具体原因不便透露

四川邻水一婴儿疑似遭家人遗弃,还留有现金和生日,警方回应:婴儿已被家人带回家,并非遗弃,具体原因不便透露

台州交通广播
2026-05-11 23:10:04
多名院士调查发现:吃一口放久变软的香蕉,或等于进一次毒?真假

多名院士调查发现:吃一口放久变软的香蕉,或等于进一次毒?真假

岐黄传人孙大夫
2026-04-23 20:10:03
善恶有报!许家印刚认罪1天,子女近况曝光,大儿子的安排全白费

善恶有报!许家印刚认罪1天,子女近况曝光,大儿子的安排全白费

历史伟人录
2026-05-10 22:06:40
被全网嘲讽、官方封杀的嘎子,为什么就成了永远杀不死的烂梗永动机?

被全网嘲讽、官方封杀的嘎子,为什么就成了永远杀不死的烂梗永动机?

BB姬
2026-05-11 22:08:38
委内瑞拉代总统撂下一句话,特朗普让委内瑞拉当第51州的美梦碎了

委内瑞拉代总统撂下一句话,特朗普让委内瑞拉当第51州的美梦碎了

菁菁子衿
2026-05-12 09:56:52
罗翔:如果一个人突然努力工作,业余时间开始学习,不再参加社交活动,那么,身边的人可能不仅不会帮他,还会拉他下来,原因就一个!

罗翔:如果一个人突然努力工作,业余时间开始学习,不再参加社交活动,那么,身边的人可能不仅不会帮他,还会拉他下来,原因就一个!

谭老师地理大课堂
2026-04-22 00:03:57
让伴侣“上瘾”的夫妻性生活,往往做对了这3件事(建议收藏)

让伴侣“上瘾”的夫妻性生活,往往做对了这3件事(建议收藏)

精彩分享快乐
2026-05-12 07:10:06
调查显示:现在的年轻男女,婚前平均至少有3个发生过关系的伴侣

调查显示:现在的年轻男女,婚前平均至少有3个发生过关系的伴侣

舒山有鹿
2026-05-11 12:23:51
长期走路能把五类病走没?医生建议:70岁后这样动,降低生病风险

长期走路能把五类病走没?医生建议:70岁后这样动,降低生病风险

39健康网
2026-05-11 18:31:48
中央定调,2026养老金调整可能性大,月入8千以上涨幅不到1.5%?

中央定调,2026养老金调整可能性大,月入8千以上涨幅不到1.5%?

王五说说看
2026-05-12 06:53:24
U17女足踢进世界杯!中国队3∶0战胜印度队

U17女足踢进世界杯!中国队3∶0战胜印度队

极目新闻
2026-05-12 10:28:30
舒马赫妻子科琳娜,照顾丈夫12年,花费超20亿,如今终于等到奇迹

舒马赫妻子科琳娜,照顾丈夫12年,花费超20亿,如今终于等到奇迹

寒士之言本尊
2026-01-28 16:12:08
特朗普应邀访华三天,中方准备了高规格礼遇,他想邀中方回访美国

特朗普应邀访华三天,中方准备了高规格礼遇,他想邀中方回访美国

无人倾听无人倾听
2026-05-11 16:48:33
果然不要小看印度!特朗普访华前:印度传来杂音,要掐中国命脉?

果然不要小看印度!特朗普访华前:印度传来杂音,要掐中国命脉?

璀璨幻行者
2026-05-12 09:39:32
世乒赛后最新行程出炉:返回国内,备战全锦赛,林高远终于复出

世乒赛后最新行程出炉:返回国内,备战全锦赛,林高远终于复出

观察鉴娱
2026-05-12 09:55:45
原来梁靖崑老婆看比赛也紧张啊!王楚钦父亲直言看比赛“受折磨”

原来梁靖崑老婆看比赛也紧张啊!王楚钦父亲直言看比赛“受折磨”

阿晞体育
2026-05-12 08:46:21
实锤了!俄媒公布俄军真实伤亡数字,比利时向乌克兰提供53架F16

实锤了!俄媒公布俄军真实伤亡数字,比利时向乌克兰提供53架F16

史政先锋
2026-05-10 21:05:57
2026-05-12 10:59:00
全栈遛狗员
全栈遛狗员
白天跟需求对线,晚上在小区遛狗。
2610文章数 64关注度
往期回顾 全部

科技要闻

纳德拉法庭爆料:拒当“AI时代的IBM”

头条要闻

牛弹琴:特朗普要来了 可以肯定这不是一次寻常的访问

头条要闻

牛弹琴:特朗普要来了 可以肯定这不是一次寻常的访问

体育要闻

梁靖崑:可能是最后一届了,想让大家记住这个我

娱乐要闻

刘涛晒妈祖诞辰活动照 评论区变许愿池

财经要闻

特朗普要来了,我们且淡定

汽车要闻

吉利银河“TT”申报图曝光 电动尾翼+激光雷达

态度原创

游戏
教育
健康
艺术
时尚

Xbox实体游戏新封面曝光!《刺客信条:黑旗re》等

教育要闻

高考想要本科直接就业,该如何报考

干细胞能让人“返老还童”吗

艺术要闻

这位画家的油画美人让人惊叹不已!

推广|| 你们都想要的绝美白衬衫,链接来了!

无障碍浏览 进入关怀版