网易首页 > 网易号 > 正文 申请入驻

AI改代码你敢放手吗?三道护栏让自愈Agent只改该改的

0
分享至

让AI自动修改测试代码,听起来很美好,但如果没有刹车机制,这辆车迟早要撞墙。Playwright自愈测试Agent的实践者最近分享了一套方案:与其赌AI每次都能改对,不如用三道硬性护栏,把它的权限锁死在"只换定位器"这个范围内。

这个思路的起点很直接——自愈的本质是"让AI改你的代码",而AI改代码这件事,没有刹车的自愈就是灾难。恶意代码执行、误改业务断言、带崩其他用例,这些风险不是假设,而是真实会发生的场景。作者给出的解法不是祈祷AI更聪明,而是从工程层面把风险路径一条条堵死。


第一道护栏:用AST白名单替代永远堵不完的黑名单

传统思路是维护一个危险代码黑名单,但AI生成代码的方式决定了黑名单永远追不上它的花样。作者改用Python的ast模块,把代码解析成语法树,然后只允许特定的语法节点和名称通过。白名单是反过来的思路:不在名单里的语法节点,一律拒绝。这样从语法层面就拦截了不安全代码,而不是事后去识别它。

这套机制的关键在于"默认拒绝"——AI生成的代码必须逐项匹配白名单里的节点类型,任何不在名单里的结构直接打回。相比黑名单的被动防御,白名单把安全边界画在了最前面。

第二道护栏:改动范围校验,只换定位器不碰业务逻辑

AI最容易犯的错不是改错,而是改太多。作者通过对比改动前后的文件,强制要求改动行必须符合定位器特征,同时明确排除assert、def、import这类业务逻辑关键词。行数不变、改动次数受限,这些约束叠加在一起,确保AI只能在"换定位器"这个动作上做文章,碰不到用例结构和业务断言。

这道护栏的本质是给AI画了一个极小的操作窗口。它不需要理解整个测试用例的业务含义,只需要在指定范围内完成替换动作。范围越小,出错的可能性就越低。

第三道护栏:沙箱验证、回归测试与自动回滚闭环

新定位器通过沙箱验证只是第一步,还得跑关联用例做回归测试。如果回归失败,系统通过git自动回滚到改动前的状态;如果改动过多,则转入人工审核流程。"验证→回归→回滚"这条闭环,就是"自愈"和"瞎改"的分界线。

这套闭环把AI的每一次改动都置于可撤销的保障之下。即使AI真的改出了问题,系统也能在几秒内恢复到安全状态,不会让坏代码留在测试套件里持续造成影响。

踩过的三个坑:护栏本身也需要调试

作者在编写护栏的过程中也踩了三个实际坑点。这些坑主要集中在白名单覆盖不全、范围校验误伤正常改动、以及回滚逻辑在特定场景下失效等问题上。这些细节提醒我们,护栏不是写一次就完事的,它需要在实际使用中不断调整和补全。

这套方案的价值在于,它把"AI改代码"这件事从"信任问题"变成了"工程问题"。不需要AI变得绝对可靠,只需要在它出错时,系统能及时发现并恢复。对于正在尝试让AI参与测试维护的团队来说,这三道护栏提供了一个可落地的参考框架。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
泽连斯基宣布,乌开始封锁俄领空!话音刚落,中方指出唯一出路

泽连斯基宣布,乌开始封锁俄领空!话音刚落,中方指出唯一出路

观锐器
2026-09-03 18:31:37
陈观泰抢救无效去世,周星驰竟因一个举动实现口碑暴涨

陈观泰抢救无效去世,周星驰竟因一个举动实现口碑暴涨

洲洲影视娱评
2026-09-03 14:43:50
发不出工资,很多单位开始“不择手段”了

发不出工资,很多单位开始“不择手段”了

职场资深秘书
2026-09-03 19:07:38
她不是知道错了,是知道怕了!

她不是知道错了,是知道怕了!

燕梳楼频道
2026-09-03 13:00:55
严厉打击,坚决杜绝告洋状歪风邪气:说说星宇股份这件事儿

严厉打击,坚决杜绝告洋状歪风邪气:说说星宇股份这件事儿

北欧模式
2026-09-03 17:29:05
全球黄金“大挪移”:荷兰从北美转移86吨黄金,法国已“清空”存在纽约的黄金

全球黄金“大挪移”:荷兰从北美转移86吨黄金,法国已“清空”存在纽约的黄金

红星新闻
2026-09-03 17:39:27
伊朗副总统:当初选择日本车就好了,中国车质量差价格高

伊朗副总统:当初选择日本车就好了,中国车质量差价格高

贱议你读史
2026-09-02 21:21:39
涉嫌严重违纪违法,蔡挺被查

涉嫌严重违纪违法,蔡挺被查

第一财经资讯
2026-09-04 00:08:41
9月3日,人社部和财政部关于2026年上调退休人员基本养老金的通知正式公布之前,在职工资率先迎来一波上涨

9月3日,人社部和财政部关于2026年上调退休人员基本养老金的通知正式公布之前,在职工资率先迎来一波上涨

白昼说故事
2026-09-03 11:16:48
宫鲁鸣任命女篮新队长出炉!不是王思雨,也不是韩旭

宫鲁鸣任命女篮新队长出炉!不是王思雨,也不是韩旭

体育哲人
2026-09-03 23:06:16
“这种脸型,长大后真的会自卑!”家长晒女儿视频,评论区一片唏嘘!

“这种脸型,长大后真的会自卑!”家长晒女儿视频,评论区一片唏嘘!

林林先生
2026-09-03 14:15:28
为什么燃气表不能用“南孚电池”?要不是师傅提醒,我还蒙在鼓里

为什么燃气表不能用“南孚电池”?要不是师傅提醒,我还蒙在鼓里

家居设计师苏哥
2026-09-03 11:51:34
上海竞体中心回应称刘翔目前关系还在原单位,媒体人:他是活祖宗 常年在国外风险大

上海竞体中心回应称刘翔目前关系还在原单位,媒体人:他是活祖宗 常年在国外风险大

尘语者
2026-09-03 16:52:12
如果在美英售卖甲醛白菜,会被处以什么刑罚?

如果在美英售卖甲醛白菜,会被处以什么刑罚?

律法刑道
2026-09-03 18:53:47
免签大门全开了,中国游客这次却集体“调头”!

免签大门全开了,中国游客这次却集体“调头”!

乌克兰小静
2026-09-03 07:59:47
又是武大!导师和学生搞权色交易,被亲生女儿举报

又是武大!导师和学生搞权色交易,被亲生女儿举报

平老师666
2026-09-03 22:45:21
9月3日俄乌最新:基辅街头枪战的根本原因

9月3日俄乌最新:基辅街头枪战的根本原因

西楼饮月
2026-09-03 21:30:20
武大“学术妲己”事件:两个女儿,86页PDF举报…武大又站在了风口浪尖。

武大“学术妲己”事件:两个女儿,86页PDF举报…武大又站在了风口浪尖。

贴小君
2026-09-04 01:07:36
建川普大厦,两度辅佐入白宫,特朗普御用华裔风水师到底有多神?

建川普大厦,两度辅佐入白宫,特朗普御用华裔风水师到底有多神?

易玄
2026-09-03 02:30:45
男子充值1000元误到账26419933亿元,疯狂消费25万元后拒不返还,法院:不当得利须返还!

男子充值1000元误到账26419933亿元,疯狂消费25万元后拒不返还,法院:不当得利须返还!

天涯社区
2026-09-03 17:46:09
2026-09-04 05:16:49
字节漫游指南
字节漫游指南
有态度网友ytd
230文章数 111关注度
往期回顾 全部

科技要闻

英伟达129亿美元拿下Hugging Face

头条要闻

男子逛夜市遭按摩摊大妈拉住 被5个大妈服务按到发红

头条要闻

男子逛夜市遭按摩摊大妈拉住 被5个大妈服务按到发红

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强携女友回工作室!相恋8年仍未婚

财经要闻

章子怡套现3亿 上美拿什么补韩束的缺?

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

艺术
数码
健康
本地
公开课

艺术要闻

他画中的女人只露出一半侧脸,却让无数男人盯着看了整整三分钟,秘密全在光影里……

数码要闻

IFA前夜,云鲸将十周年发布会开到了柏林,还顺手秀了波具身智能

脑梗能否取栓,关键看这几点!

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版