网易首页 > 网易号 > 正文 申请入驻

4万英镑与40英镑退款风险倒挂,AI智能体护栏盲区

0
分享至

一个AI智能体想要强制推送代码到主分支。不是因为它搞混了什么——rebase卡住了,强制推送能解决问题,推理链条每一步都合理。局部正确,全局代价高昂。

这个例子之所以有教育意义,是因为命令本身带着后果。git push --force origin main,危险就写在命令里。你可以做模式匹配,可以把它放进清单,一个钩子函数读一下字符串就能拦截。


但我真正担心的大多数情况,根本不是这个样子。

两次退款调用,一次是灾难

看这两次退款调用:

一次退40英镑,一次退4万英镑。同一个接口,同样的参数名,同样的结构,同样的原因代码,所有预执行钩子能从文本里读到的东西全都一样。

关键来了:这两次调用本身都没有错。4万英镑可能是对一张完全合法的账单的完全合法的退款。40英镑可能是对一小时前已经退过的款项的再次退款——某种意义上这才是更糟的那个。你没法通过看代码来区分它们,因为让其中一次成为错误的那个因素,根本不在调用本身里。

爆炸半径是目标的属性,不是命令的属性

强制推送的例子之所以成立,是因为危险藏在动词里。强制推送在几乎所有场景下都是危险的。你真正需要它的场景少到可以枚举,所以一条规则就能覆盖它,而且这条规则大致上一直成立。

带金额的API调用,其危险性取决于另一侧的状态。那次退款是否安全,取决于调用方根本拿不到的信息:

  • 这笔支付是否已经被退过款,全额还是部分?
  • 商户余额是否覆盖,还是会让它变成负数?
  • 这个操作者今天已经动过多少资金?
  • 原始支付是否处于争议中——这种情况下退款对最终责任方的影响完全不同?
  • pay_9f2c14 到底是不是这个商户的支付?

坐在智能体进程里的钩子,这些全都不知道。它能读到意图。成本不是意图的属性。

“行,让钩子去查一下”

这是显而易见的下一步,而且不蠢。让守卫去调用API,拉取支付信息,看看余额,然后做决定。

真去构建的时候,你就会发现自己签了什么协议。

你的钩子现在需要读取支付状态的凭证,这意味着智能体宿主为了防范智能体宿主,反而持有了你账本的读权限。它需要理解退款语义、争议状态和结算时机才能做出判断,所以你的退款规则现在活在两个必须永远保持一致的代码库里。而且它在检查和执行之间有一个时间窗口——

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
套现146亿后跑路新加坡就能万事大吉?国家新规重拳出击:只要钱还在中国赚,拿了绿卡也照样得补税!申通前老板如意算盘,这下彻底落空了

套现146亿后跑路新加坡就能万事大吉?国家新规重拳出击:只要钱还在中国赚,拿了绿卡也照样得补税!申通前老板如意算盘,这下彻底落空了

人生录
2026-08-16 00:05:13
中纪委再出大招!公务员这4类行为将被大数据盯死,沾上就完蛋!

中纪委再出大招!公务员这4类行为将被大数据盯死,沾上就完蛋!

职场资深秘书
2026-08-20 18:39:44
太心酸了!42岁著名女歌手江苏走穴,宾客只顾吃席没人搭理

太心酸了!42岁著名女歌手江苏走穴,宾客只顾吃席没人搭理

小徐讲八卦
2026-02-12 12:13:20
女子花55元捡漏1.4万元奢侈品项链,被工作人员以平台bug为由要求主动退款,品牌方回应

女子花55元捡漏1.4万元奢侈品项链,被工作人员以平台bug为由要求主动退款,品牌方回应

大风新闻
2026-08-21 18:06:04
不要脸!向太否认破产,自曝澳门有赌场,赌王何鸿燊占过她两次便宜

不要脸!向太否认破产,自曝澳门有赌场,赌王何鸿燊占过她两次便宜

扒星人
2026-08-21 15:42:27
山东舰上的一顿热饭,是小国海军,遥不可及的梦

山东舰上的一顿热饭,是小国海军,遥不可及的梦

清沐执笔
2026-08-21 20:46:01
俄罗斯拉响战争警报,又一联合国五常下场参战,三战已箭在弦上?

俄罗斯拉响战争警报,又一联合国五常下场参战,三战已箭在弦上?

琴音缭绕回
2026-08-22 11:47:13
被讽靠库里KD夺冠,克莱回击:2016季后赛得分王是我

被讽靠库里KD夺冠,克莱回击:2016季后赛得分王是我

甜份超标的我
2026-08-21 19:33:35
澳门的赌台,大面积关停!并非没人去,而是被“算法”割废的?

澳门的赌台,大面积关停!并非没人去,而是被“算法”割废的?

笑熬浆糊111
2026-08-22 09:13:26
拒唱国歌!中国香港女排胆太肥?与日本队比心合影,教练表明立场

拒唱国歌!中国香港女排胆太肥?与日本队比心合影,教练表明立场

十级搞笑选手
2026-08-22 18:26:31
又一零食塌房!记者暗访画面恶心至极,发黄又生虫,不少人天天吃

又一零食塌房!记者暗访画面恶心至极,发黄又生虫,不少人天天吃

旧窗老街
2026-08-19 19:18:59
许家印判无期,他在里面可以干啥

许家印判无期,他在里面可以干啥

风马驿
2026-08-21 07:00:05
盈利双双增超5倍!又有2家铜箔公司,业绩出炉!

盈利双双增超5倍!又有2家铜箔公司,业绩出炉!

证券时报
2026-08-22 08:27:04
不再保持中立,东盟国家密集“选边站”,台海叙事正在被彻底改写

不再保持中立,东盟国家密集“选边站”,台海叙事正在被彻底改写

麓谷隐士
2026-08-22 08:08:44
因欠1600万中国人押金的小黄车创始人戴威,如今怎么样了?

因欠1600万中国人押金的小黄车创始人戴威,如今怎么样了?

流苏晚晴
2026-08-22 16:41:11
三峡大坝收支出炉了:运行20余年,总投资近2500亿,如今回本了吗

三峡大坝收支出炉了:运行20余年,总投资近2500亿,如今回本了吗

蜉蝣说
2026-07-31 09:48:05
一句配文藏太多!米切尔酸评哈登续约,骑士队内心态悄然失衡

一句配文藏太多!米切尔酸评哈登续约,骑士队内心态悄然失衡

体育见习官
2026-08-22 13:23:09
许家印10年砸170亿元打造恒大队!李玮锋:他让我在合同上填年薪

许家印10年砸170亿元打造恒大队!李玮锋:他让我在合同上填年薪

风过乡
2026-08-21 18:11:55
张丹丹不需要道歉

张丹丹不需要道歉

多村来信
2026-08-22 07:55:32
俄乌战场正变为日本大型军事试验场 | 京酿馆

俄乌战场正变为日本大型军事试验场 | 京酿馆

新京报评论
2026-08-20 21:40:05
2026-08-22 19:12:49
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
231文章数 86关注度
往期回顾 全部

科技要闻

苹果裁员200人:Vision Pro砍游戏团队

头条要闻

男孩被两人无故掌掴致伤 一人系警察一人事业单位就职

头条要闻

男孩被两人无故掌掴致伤 一人系警察一人事业单位就职

体育要闻

枪手赚翻!4000万新援揭幕战8分钟策动2球

娱乐要闻

《空枪》预测票房缩水,手握王炸都没赢

财经要闻

蔡昉解读经济:扩大消费需求的政策思考

汽车要闻

2026成都车展的顶流选手 硬派方盒子享界 G9

态度原创

游戏
本地
房产
时尚
公开课

《宝可梦》开发商谈回合制:老玩家未必能接受新变化

本地新闻

《牛来》的一声“妈妈”,到底多少人被精神污染了

房产要闻

两大热盘即将入市!三亚又一批安居房狠货要炸场了!

从追星到追光,年轻女性的消费逻辑又变了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版