网易首页 > 网易号 > 正文 申请入驻

他把测试活儿交给子代理,跑完一轮发现两处误报

0
分享至

为了验证自己做的代码审查工具,他让一个 Pi 代理去找真实的拉取请求来跑测试。这个代理先派一个子代理去搜 TypeScript 仓库和候选 PR,再把具体的测试任务分给其他子代理。

他后来回忆,那一刻的想法是:这事可行。找有用的测试用例、再逐个跑工具,原本是他手工干的活,现在可以交给一套自己搭的工作流,然后看每次跑完返回什么结果。

一个代理负责找用例,其他代理负责跑。这就是他给这套 Pi 配置起的名字——软件工厂。

LessCode 是他为 Meta 全球 AI 开发者黑客松做的项目,用 Pi 和 Pi 子代理搭建。这个工具审查 JavaScript 和 TypeScript 的改动,给出的审查意见会指向源码,当受支持的编辑通过检查时还能提供补丁。黑客松期间,他用 Baseten 上的 Meta Muse Spark Open 来提出发现和编辑建议。

评估跑在独立虚拟机里

他的家庭实验室跑的是 Proxmox,所以专门为这次评估建了一台虚拟机。协调器和它的子代理都在这台虚拟机里工作,与实验室的其他部分隔开。

虚拟机给整个任务提供了运行场所。在里面,任务分派让每个执行者只负责更窄的一块。他想知道哪个结果来自哪次改动,这样才能单独查看每个用例。

一次运行教给他的事

他记录下来的一个用例,是 is-number 项目里的一次 JavaScript 重构。他把同一个固定版本的改动分别跑过 LessCode 的引擎、命令行和 MCP 接口,三次都没有提出补丁。

然后他去读审查报告。其中两份说,一个使用 typeof num 的表达式会抛出 ReferenceError。他把相关函数单独拿出来检查,在他测试的输入下,这些函数返回的是 false。

这给了他一个具体的改进点。他加了一些检查,让 LessCode 能对照它所审查代码中的证据来验证某些说法,然后重跑了同一个改动。这一次,命令行和 MCP 的报告正确描述了那些输入下的行为。命令行还撤回了两个它无法用引用支撑的说法。

他想留下的部分

他最想保留的能力,是能回到同一个用例。一个代理可以找出值得审查的改动,另一个代理可以跑工具,而他自己可以从输出里挑一条说法来核对。改完工具之后,他能重跑那个确切的版本,看那一条结果有没有变好。

他在黑客松上做了一个代码审查器,带走的却是一套测试审查器的方法,他打算在下一个项目里继续用。

他也把问题抛给了同样用子代理做测试的人:你会保存什么,以便之后重跑一个用例并对比结果?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

安梦入天下
2026-09-21 12:40:03
大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

华人星光
2026-11-19 13:45:11
从黄皮到低可视灰,编号7501运-15新照流出,距列装已经不远了?

从黄皮到低可视灰,编号7501运-15新照流出,距列装已经不远了?

国平视野
2026-11-21 15:41:49
山东一农民,种了3亩佛手瓜,本想靠它发家致富,结果却让他傻眼

山东一农民,种了3亩佛手瓜,本想靠它发家致富,结果却让他傻眼

爱下厨的阿椅
2026-11-21 12:09:50
陈瑜回应“大脸盘也能当超模”:脸盘大,大家第一眼就能看到我嘛

陈瑜回应“大脸盘也能当超模”:脸盘大,大家第一眼就能看到我嘛

韩小娱
2026-11-21 15:44:42
激战凌晨打响,伊朗火力全开收割战果,美军溃败,特朗普不再嘴硬

激战凌晨打响,伊朗火力全开收割战果,美军溃败,特朗普不再嘴硬

墨子翟的日记y
2026-11-18 11:05:57
CCTV5直播U17国足VS摩洛哥,浮嶋敏黔驴技穷,名记质疑邝兆雷水平

CCTV5直播U17国足VS摩洛哥,浮嶋敏黔驴技穷,名记质疑邝兆雷水平

体育大学僧
2026-11-21 09:26:00
美国下月举办G20峰会期间,是否会举行第二次中俄美三国元首会晤,外交部回应

美国下月举办G20峰会期间,是否会举行第二次中俄美三国元首会晤,外交部回应

政知新媒体
2026-11-20 15:25:01
去福建谈女儿彩礼,坐下才发现:亲家母竟是我老婆找了二十年的人

去福建谈女儿彩礼,坐下才发现:亲家母竟是我老婆找了二十年的人

乐趣纪史
2026-11-20 11:53:22
收废品收到一架飞机?湖北武汉95后小伙子承父业收废品,“收”到一架空客A300,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

收废品收到一架飞机?湖北武汉95后小伙子承父业收废品,“收”到一架空客A300,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

大风新闻
2026-11-20 21:19:08
特朗普称不支持“台独”引发岛内震动,台陆委会主委邱垂正辩称:相关报道经初步查证“并非事实”;台湾网民:“早点统一吧!”

特朗普称不支持“台独”引发岛内震动,台陆委会主委邱垂正辩称:相关报道经初步查证“并非事实”;台湾网民:“早点统一吧!”

吉刻新闻
2026-11-21 09:40:00
丰田第六代双擎正式落地,这些车型压力会变大,买车之前定要看懂

丰田第六代双擎正式落地,这些车型压力会变大,买车之前定要看懂

生活魔术专家
2026-11-20 16:30:27
真值!140万欧引进的边后卫,如今是国足主力+中超抢断王,这交易海港赢麻了

真值!140万欧引进的边后卫,如今是国足主力+中超抢断王,这交易海港赢麻了

蜡笔小新爱体育
2026-11-20 17:46:00
谁也没想到,黄仁勋出轨风波后,董明珠竟因1年前的一个举动火出圈

谁也没想到,黄仁勋出轨风波后,董明珠竟因1年前的一个举动火出圈

LULU生活家
2026-11-20 22:11:55
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
半夜小三把跟我老公的床上照片发来膈应我,我立马转给她爹妈:你家闺女真够忙的,睡个觉还得拍照汇报,第二天她家直接闹翻了天

半夜小三把跟我老公的床上照片发来膈应我,我立马转给她爹妈:你家闺女真够忙的,睡个觉还得拍照汇报,第二天她家直接闹翻了天

灵魂漂流瓶
2026-11-21 18:00:40
刚9分惜败掘金!火箭赛后传来主帅乌度卡消息,阿门说的非常实在

刚9分惜败掘金!火箭赛后传来主帅乌度卡消息,阿门说的非常实在

阅尽天下大事
2026-11-21 18:04:36
丢绝平三分!活塞爆冷惜败猛龙 坎宁安23+9致命失误巴恩斯29分

丢绝平三分!活塞爆冷惜败猛龙 坎宁安23+9致命失误巴恩斯29分

醉卧浮生
2026-11-21 11:10:44
内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

红豆讲堂
2025-05-19 17:03:14
红毯铺设机都出了,鱼头朝向机还会远吗?

红毯铺设机都出了,鱼头朝向机还会远吗?

胖胖说他不胖
2026-11-20 11:50:15
2026-11-21 19:40:49
硅屿手记
硅屿手记
有态度网友ytd
271文章数 88关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
本地
手机
旅游
家居

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版