网易首页 > 网易号 > 正文 申请入驻

测试全绿就真修好了?这个工具专治“完成”幻觉

0
分享至

一个编码智能体改完代码,留下一段自信的总结:bug 修好了,测试通过了,可以进入评审了。评审者却还得追问几个再普通不过的问题——跑了哪些测试?针对哪些文件?跑完之后实现有没有再改过?被引用的那个测试,真的覆盖了它声称的行为吗?

聊天记录让这些追问变得格外别扭。证据散落在消息、终端输出和一个可能已经变过的代码树里。Proofpacket 是一个小型 Python 工具,用来把命令证据和作者的声明装进同一个可携带的文件里。

一个通过的测试,有它的作用域和时间

设想一次文档分享相关的改动,附带两条声明:访客不能转发文档;所有访问路径都被覆盖。一个针对性测试可能为第一条提供有用证据,对第二条则说明不了多少。把同一个绿色对勾同时贴给两条声明,恰好掩盖了评审者需要看见的差别。

Proofpacket 存储声明、显式选定的源文件、命令观测结果,以及作者在声明与检查之间建立的联系。每条命令观测都包含参数、工作目录、退出码、输出摘录,以及执行前后采集的文件指纹。

最后这项细节很关键。如果选定的源文件在命令执行后发生变化,旧观测仍被保留,但会变为过期状态,它无法悄悄变成新版本代码的证据。

跑一遍示例

需要 Python 3.11 或更新版本,运行时不需要任何第三方 Python 包。克隆仓库后在其根目录执行以下命令:

  • 克隆仓库并进入目录,用临时目录复制一份示例项目;
  • init初始化数据包,指定任务文件、声明文件、项目根目录、选定的源文件路径和输出路径;
  • run执行指定命令,记录一次命令观测;
  • link把某条声明与某次检查关联起来;
  • verify校验数据包,用report生成 Markdown 报告。

针对性命令通过了。访客转发那条声明关联到了通过的证据;范围更大的“所有路径”声明则仍未关联。打开 Markdown 报告,就能看到这一区分。

接着在临时副本里改动一个选定的文件,再跑一次校验。第二次校验以状态码 1 退出。命令的历史执行结果仍然是通过的,但它的新鲜度已变为过期,关联的声明需要重新评审。仅仅加一行注释就足以触发,因为工具保守地对整个文件做哈希。

把评审者留在流程里

数据包记录的是观测结果,它无法判断某个测试是否支持某条声明。一个无关紧要的断言也能成功退出;作者可能关联一个不相干的检查;选定的文件列表可能漏掉某个依赖、配置文件或重要的运行时输入。

命令还以当前用户的权限运行。它是证据记录器,不是用来跑陌生代码的沙箱。

因此一次有用的评审包含两部分:检查记录下来的执行过程,检查测试与声明之间的关系。文件哈希帮助回答选定的字节是否仍然匹配,它们并不证明行为是正确的。

从一条有争议的声明开始

找一个小改动试试,前提是它的完成总结听起来比测试覆盖的范围更宽。记录一条具体声明,选定相关文件,关联一条针对性命令。然后问另一位工程师:这个数据包是否帮他弄清了还有哪些地方需要检查。

真正有意思的衡量标准是,评审者能否在不比评审本身花更多精力记录证据的情况下,发现那些缺乏支持或已经过期的声明。一份整洁的报告本身,并不能证明这种价值。

该仓库采用 MIT 许可证,包含可运行的示例、数据包结构和已记录的局限。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
快评:捷达在中国的“逆袭”,证明这一步走对了

快评:捷达在中国的“逆袭”,证明这一步走对了

环球时报国际
2026-10-25 17:20:43
连续首发1300+场比赛有多难?NBA仅6人,强如老詹只能垫底

连续首发1300+场比赛有多难?NBA仅6人,强如老詹只能垫底

篮球圈里的那些事
2026-10-26 07:39:53
不查不知道一查吓一跳!44岁一家人住北京豪宅的陈婷,私下有多壕

不查不知道一查吓一跳!44岁一家人住北京豪宅的陈婷,私下有多壕

冷紫葉
2026-09-19 12:41:16
国乒教练表示:王楚钦是世界第一位强势打法的球员,樊振东则是综合能力最强的

国乒教练表示:王楚钦是世界第一位强势打法的球员,樊振东则是综合能力最强的

乒乓乐园
2026-10-26 08:02:23
87分钟一剑封喉!姆巴佩德比双响百球封神,穆帅国家德比6场不败

87分钟一剑封喉!姆巴佩德比双响百球封神,穆帅国家德比6场不败

体坛老球迷
2026-10-26 08:11:28
深夜提醒2.5亿股民!从周一10.26起,A股或将再迎修复行情?

深夜提醒2.5亿股民!从周一10.26起,A股或将再迎修复行情?

风风顺
2026-10-26 03:05:08
3-0击败布莱顿,利物浦终于迎来本赛季英超主场首胜

3-0击败布莱顿,利物浦终于迎来本赛季英超主场首胜

懂球帝
2026-10-26 00:07:12
宝妈发文“俩儿子价值38.8w”,被嘲笑惨了:这年头当赘婿都要看脸

宝妈发文“俩儿子价值38.8w”,被嘲笑惨了:这年头当赘婿都要看脸

熙熙说教
2026-10-24 02:35:32
“红菜盘”里映初心(强军路上·走进长征英雄连队)

“红菜盘”里映初心(强军路上·走进长征英雄连队)

人民网
2026-10-25 07:15:44
神木问界事故舆论升级!搜狐汽车微博遭15天禁言,“视频是从哪来的”成舆论焦点

神木问界事故舆论升级!搜狐汽车微博遭15天禁言,“视频是从哪来的”成舆论焦点

火山詩话
2026-10-23 13:19:53
告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

品读时刻
2026-10-23 09:07:32
泰国王后苏提达:别只看到她隐忍十二年,真正托她登上王后位的,是这三张隐秘的网

泰国王后苏提达:别只看到她隐忍十二年,真正托她登上王后位的,是这三张隐秘的网

白浅娱乐聊
2026-10-25 18:38:59
彻底凉凉!以为社保“瞒天过海”能养老,十年旧账全被扒干净

彻底凉凉!以为社保“瞒天过海”能养老,十年旧账全被扒干净

你在偷看谁
2026-08-19 21:00:31
网传女骑手越来越多了,说明了什么?评论区炸锅…

网传女骑手越来越多了,说明了什么?评论区炸锅…

慧翔百科
2026-05-20 17:27:17
张本智和赛后一句话,比国乒男单丢冠还扎心!他真的太怕樊振东了

张本智和赛后一句话,比国乒男单丢冠还扎心!他真的太怕樊振东了

十点街球体育
2026-10-26 05:30:09
医院重复用纸致隐私泄露,涉事科室和医生被通报批评!

医院重复用纸致隐私泄露,涉事科室和医生被通报批评!

梅斯医学
2026-10-26 07:56:13
这就尴尬了,5个国产手机,总销量只有iPhone18 Pro三分之一

这就尴尬了,5个国产手机,总销量只有iPhone18 Pro三分之一

互联网.乱侃秀
2026-10-23 15:01:57
“别装了,普通家庭根本买不起牛肉”,宝妈控诉,被迫看清了现实

“别装了,普通家庭根本买不起牛肉”,宝妈控诉,被迫看清了现实

熙熙说教
2026-10-25 17:58:49
苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

川渝视觉
2026-04-17 22:13:14
“新型养老”悄悄走红:不住养老院,不拖累子女,晚年体面又轻松

“新型养老”悄悄走红:不住养老院,不拖累子女,晚年体面又轻松

奇葩游戏酱
2026-10-25 12:25:55
2026-10-26 08:48:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
169文章数 84关注度
往期回顾 全部

科技要闻

苹果首款折叠屏没能养肥黄牛

头条要闻

600亿公司59岁总裁被指父承子业 "圆通太子"发文澄清

头条要闻

600亿公司59岁总裁被指父承子业 "圆通太子"发文澄清

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

王佳佳近况:44岁导演老公露面

财经要闻

全球AI产业链迎“去杠杆”,何处是底?

汽车要闻

专业越野+华为乾崑智能 猛士X700限时焕新价20.98万起

态度原创

艺术
家居
数码
房产
本地

艺术要闻

家底丰厚的贵公子,最后散尽千金,留给民族无价珍宝

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

古尔曼:苹果首款触屏MacBook Pro北京时间10月29日发布,标志公司产品策略迎来重大转变

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

无障碍浏览 进入关怀版