网易首页 > 网易号 > 正文 申请入驻

模拟智能体全在撒谎:83个真实测试暴露权限系统盲区

0
分享至

在连续三个项目栽跟头后,开发者 deghosal-2026 得出一个反直觉的结论:模拟智能体会撒谎。单元测试通过、演示看似完美,一旦真实智能体投入运行,问题便集中爆发。他坦言,此前的评估框架中,字段测试是在构建后期临时加入的,因为他开始担心单元测试和模拟智能体掩盖了真正的集成问题;而在可观测性工具项目中,他一度误判为检测器故障。 这一次,他采取了截然相反的路线:完全放弃模拟智能体,改用 10 个框架下的 83 个真实智能体进行验证。通过覆盖设计,原本需要 12 天的测试矩阵被压缩到一个下午完成。同时设置发布门禁:真实智能体未证明策略有效之前,不允许发布。 结果是 2,490 项测试全部通过,83 个智能体全部达标,PyPI 包已发布,代码仓库也已公开。但更值得关注的是 7 个失败用例——它们带来的教训是其他方式无法获取的。 这一项目的核心判断是:AI 智能体的权限现状令人担忧。当前大多数智能体权限是二元的——允许或拒绝。但这只是可达性,而非真正的授权。同一工具在预发环境无害,在生产环境可能致命;同一读取操作对公开文档没有风险,对客户数据却可能造成泄露;CI 沙箱中的删除与生产环境中的删除不可同日而语。 他引用的数据进一步佐证了问题的普遍性:约 18% 的 MCP 服务器部署实现了任何形式的访问范围控制;80% 的组织承认智能体曾执行超出预期范围的操作;OWASP 已将智能体工具滥用列为一等风险。 在他看来,给智能体工具本身并不难,难的是决定它在什么场景、什么位置、什么护栏下可以使用。因此,在动手编写引擎代码之前,他先撰写了 PRD 和架构规范——部分是为了约束自己,部分是因为过去的教训表明,跳过设计环节往往会导致交付错误的产品。 Agent ToolTrust 正是一个基于上下文的风险权限系统——它试图回答的问题不是“智能体能否使用某把工具”,而是“这把工具该不该在此时、此地、以这种方式被使用”。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
没想到,郭兰英去世仅1天,75岁姜昆竟因一个动作实现口碑暴涨

没想到,郭兰英去世仅1天,75岁姜昆竟因一个动作实现口碑暴涨

李橑在北漂
2026-08-13 07:01:56
原来这就是升米恩斗米仇!网友:替别人养孩子,怎么都养不熟!

原来这就是升米恩斗米仇!网友:替别人养孩子,怎么都养不熟!

另子维爱读史
2026-06-29 21:27:43
宇树科技中签结果公布,股民:中签后不敢发朋友圈,计划卖出后全款提车

宇树科技中签结果公布,股民:中签后不敢发朋友圈,计划卖出后全款提车

台州交通广播
2026-08-12 14:27:44
郭富城挽老婆手好腻歪!方媛穿2280马甲背2.2W包,背影像年轻情侣

郭富城挽老婆手好腻歪!方媛穿2280马甲背2.2W包,背影像年轻情侣

小疯子耶
2026-08-12 06:17:34
游客称在甘肃月牙泉景区现单价“180元的汽水”,自助机售价为外面零售价的60倍,景区:正在安排核实

游客称在甘肃月牙泉景区现单价“180元的汽水”,自助机售价为外面零售价的60倍,景区:正在安排核实

河南交通广播1041
2026-08-11 10:28:24
新政后我跑了两家中介店,北京二手房市场已经悄悄分成两半

新政后我跑了两家中介店,北京二手房市场已经悄悄分成两半

房探科技
2026-08-13 09:43:09
不是王濛输给武大靖,真相终于大白!业内人士一语道破3大关键

不是王濛输给武大靖,真相终于大白!业内人士一语道破3大关键

生活新鲜市
2026-08-13 00:11:27
我是北京人去了武汉和郑州,说句实在话:武汉跟郑州真不是一回事

我是北京人去了武汉和郑州,说句实在话:武汉跟郑州真不是一回事

夜深爱杂谈
2026-08-11 20:06:59
中方向全世界通告,若台海开战,出兵参战一律等同侵略中国领土!

中方向全世界通告,若台海开战,出兵参战一律等同侵略中国领土!

史之韵
2026-08-12 20:38:17
张学良儿子张闾琳辞世:9岁赴美,娶陈济棠侄女,所生两子皆成才

张学良儿子张闾琳辞世:9岁赴美,娶陈济棠侄女,所生两子皆成才

浩渺青史
2026-08-02 21:40:02
中纪委再出大招!公务员这4类行为将被大数据盯死,沾上就完蛋!

中纪委再出大招!公务员这4类行为将被大数据盯死,沾上就完蛋!

职场资深秘书
2026-08-13 17:29:33
印度人快要占领日本了?男子说自己是印度人,日本店主立刻报警!

印度人快要占领日本了?男子说自己是印度人,日本店主立刻报警!

李健政观察
2026-08-13 09:12:00
非必要不做肠镜?医生:只要做过肠镜,患者一定多加关注这4点!

非必要不做肠镜?医生:只要做过肠镜,患者一定多加关注这4点!

芹姐说生活
2026-07-09 23:13:04
卢鑫直播间里一句话,让整个相声圈后背发凉:“很多老艺人,吃谁的饭,砸谁的锅”

卢鑫直播间里一句话,让整个相声圈后背发凉:“很多老艺人,吃谁的饭,砸谁的锅”

乡野小珥
2026-08-13 09:06:57
梁家辉安慰马丽不要哭

梁家辉安慰马丽不要哭

韩小娱
2026-08-11 07:36:00
一通电话涨400万!还不满意!!

一通电话涨400万!还不满意!!

柚子说球
2026-08-12 23:46:01
詹姆斯8连总决赛仅对上一次一阵球星,当时表现如何?

詹姆斯8连总决赛仅对上一次一阵球星,当时表现如何?

大卫的篮球故事
2026-08-13 17:58:19
一次扫黄行动中,我偷偷放了一对姐妹,3天后领导给我升职

一次扫黄行动中,我偷偷放了一对姐妹,3天后领导给我升职

千秋文化
2026-08-11 19:38:38
台湾统一后,我国仍有三大领土必须要收回,个个都是战略要地!

台湾统一后,我国仍有三大领土必须要收回,个个都是战略要地!

探源历史
2026-08-08 02:28:10
翻倍牛股,尾盘跌停!

翻倍牛股,尾盘跌停!

证券时报
2026-08-13 16:34:10
2026-08-13 18:39:00
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
341文章数 68关注度
往期回顾 全部

科技要闻

DeepSeek V4 Pro更新:性价比炸裂 仍需打磨

头条要闻

台媒:岛内出现有利于统一的三个变化

头条要闻

台媒:岛内出现有利于统一的三个变化

体育要闻

负债十几亿的联赛,还在疯狂买球星

娱乐要闻

篡改红歌已立案,郭德纲大祸临头

财经要闻

可治疗癌症?神话破灭的片仔癀 陷入争议

汽车要闻

试了奇瑞捷豹路虎神行者8,才知道它的i-ATS有多强?

态度原创

亲子
手机
家居
旅游
房产

亲子要闻

爸爸要等开学人少了,带4岁女儿出去玩,没想到女儿却讲上了道理

手机要闻

iQOO Neo11至尊版手机官宣行业首发天玑9500M处理器

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

三年来“最好看”的流星雨 游客:回去够吹一年

房产要闻

投资暴跌90%!文昌楼市,正在停摆!

无障碍浏览 进入关怀版