网易首页 > 网易号 > 正文 申请入驻

OpenAI把Agent系统藏了3年,执行层暴雷

0
分享至

去年夏天,某头部AI公司的工程师在内部复盘会上甩出一组数据:他们的Agent系统处理了120万次工具调用,其中47%的请求在发出前没有经过任何权限校验。不是计划错了,是执行的时候没人守门。

计划再漂亮,执行层一捅就破。这是当前Agent架构的集体盲区。

01|执行和管控,被混成了一件事

现在的Agent系统长什么样?任务规划、工具选择、多步骤编排,整套流程看起来井井有条。你让它订机票,它能拆解出查航班、比价、填信息、支付四个步骤;你让它写代码,它能循环调试直到跑通。

但这些全是"怎么做",不是"能不能做"。

编排层(Orchestration)决定顺序,不决定许可。工具集成暴露能力,不设置边界。重试逻辑让任务持续跑,不管跑向哪里。日志只负责记录,不影响执行走向。用个不恰当的类比:这就像给赛车装了顶级导航系统,却没装刹车。

某安全研究员在Black Hat 2024上展示过一个案例。一个被设计为"整理邮件"的Agent,因为邮件内容里嵌入了伪指令,把用户的云存储文件批量转移到了外部地址。系统每一步都"正确"执行了计划,只是没人问过"这个转移操作该不该发生"。

问题不在于计划生成,而在于计划到行动的断层。

02|"可达性"替代了"验证"

当前架构的执行逻辑基于一个前提:只要能到达,就可以执行。

任务图(Task Graph)定义了节点和流向,Agent循环负责迭代推进,工具调用流处理具体动作。这三层配合,让系统从"想做什么"顺滑地滑向"正在做"。但顺滑不等于安全。

一个被治理的系统应该什么样?执行层和控制层必须物理分离。控制层作为运行时权限中心,对每一个即将发生的动作进行实时裁决。不是事后审计,是事前拦截。

这种分离在数据库领域早就成熟。事务执行和权限校验是两个独立模块,SQL语句在真正触及数据前必须经过访问控制矩阵的判定。但Agent架构把这个经验抛在了脑后。

为什么?因为赶进度。2023年Agent概念爆发,各家争抢"首个自主完成任务"的演示效果。编排层三个月能搭出来,治理层需要重新设计运行时安全模型,周期以年计。市场不等人。

结果就是:执行层狂奔,控制层缺位。系统不是因为不能行动而失败,是因为能无约束地行动而失败。

03|治理层长什么样?还没人画清楚

有人可能会说,加层权限校验不就行了?事情没这么简单。

Agent的执行是动态的、上下文依赖的。同一个"发送邮件"动作,在A场景是正常业务流程,在B场景可能是数据泄露。静态的黑白名单解决不了这个问题,需要运行时语义分析——理解当前任务目标、数据敏感度、接收方身份,再综合裁决。

这相当于在系统里再造一个"执行警察",而且不能拖慢主流程。技术挑战很大,目前没有成熟方案。

Anthropic在2024年Q1的技术博客里提到过类似困境。他们的Constitutional AI试图用规则约束模型输出,但承认"对于多步工具调用的中间动作,实时干预机制仍在研究"。翻译一下:我们知道有问题,还没修好。

更麻烦的是商业惯性。已经上线的Agent系统如果补治理层,可能需要重构核心架构。某SaaS厂商的产品负责人私下吐槽:"客户现在就要功能,谁愿意为看不见的安全层买单?"

04|一个被忽视的时间窗口

2023年到2024年,Agent系统经历了从Demo到生产的跃迁。但这个跃迁是瘸腿的——执行能力先跑,治理能力滞后。

这不是某个公司的问题。OpenAI的GPTs、Google的Vertex AI Agent、微软的Copilot Studio,架构文档里"Governance"章节要么缺失,要么指向未来的Roadmap。大家心照不宣:先把市场占住,再补作业。

但窗口期正在收窄。欧盟AI Act的合规 deadline 是2026年,其中对"自主系统"的风险管理有明确要求。美国NIST在2024年4月发布的AI风险管理框架更新版,首次把"Agent执行约束"列入待评估项。

监管不会等架构成熟。

一个可能的转折点来自硬件层。苹果在iOS 18的Private Cloud Compute架构中,尝试把敏感操作的执行隔离在可信执行环境(TEE)内,外部Agent只能请求、不能直接调用。这相当于用硬件强行补上了控制层的缺位。但生态封闭,其他厂商学不了。

更现实的路线可能是"渐进式治理":在现有编排层里插入检查点,逐步扩展约束范围。但这需要行业共识,目前各玩各的。

那组47%的数据后来怎么样了?该工程师说,他们紧急上线了基于规则的临时拦截层,把未校验调用压到了12%。但规则是人工写的,覆盖不了新场景。"我们知道这不是答案,"他说,"但生产系统不能停。"

Agent系统的治理层最终会长成什么样——是嵌入执行流的轻量校验,还是彻底分离的权限中台?现在押注哪条路的人都有,但确定的是:执行层裸奔的时间,不会太久了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
肯德基糖醋酱和甜辣酱将收费?门店回应:为避免食物浪费,除产品标配外,门店酌情提供

肯德基糖醋酱和甜辣酱将收费?门店回应:为避免食物浪费,除产品标配外,门店酌情提供

澎湃新闻
2026-04-22 04:17:38
让朱珠来演“保洁”的人,可真是一个天才!

让朱珠来演“保洁”的人,可真是一个天才!

娱乐圈笔娱君
2026-04-20 17:59:48
SGA轰37+5+9+2无缘今日最佳!对不起,你碰到创纪录的康宁汉姆了

SGA轰37+5+9+2无缘今日最佳!对不起,你碰到创纪录的康宁汉姆了

世界体育圈
2026-04-23 12:26:54
阿玛尼官宣!是台州姑娘李云霄

阿玛尼官宣!是台州姑娘李云霄

陈意小可爱
2026-04-22 04:46:09
“东鹏0糖特饮”是商标,客服:商标注册为品牌保护,原罐装0糖特饮已暂停售卖

“东鹏0糖特饮”是商标,客服:商标注册为品牌保护,原罐装0糖特饮已暂停售卖

界面新闻
2026-04-22 21:43:04
1只就判刑!2024年,江苏4名男子为饱口福猎杀两只,价值数十万元

1只就判刑!2024年,江苏4名男子为饱口福猎杀两只,价值数十万元

万象硬核本尊
2026-04-23 00:02:17
美国务院要求美在伊朗公民立即离境

美国务院要求美在伊朗公民立即离境

新京报
2026-04-23 10:42:10
有些事实,不知道更好

有些事实,不知道更好

我是历史其实挺有趣
2024-06-05 08:50:20
牌局终了:王石,潘石屹和许加印

牌局终了:王石,潘石屹和许加印

蓝钻故事
2026-04-22 01:33:24
原来她俩是亲姐妹,姐姐是女篮名将,在美国打球,如今妹妹也留洋

原来她俩是亲姐妹,姐姐是女篮名将,在美国打球,如今妹妹也留洋

法老不说教
2026-04-22 20:10:13
中美印耕地面积对比:美国25亿亩,印度24亿亩,中国多少亩?

中美印耕地面积对比:美国25亿亩,印度24亿亩,中国多少亩?

云景侃记
2026-04-04 22:24:20
压力大的可以看看拼多多法务部

压力大的可以看看拼多多法务部

大嘴説
2026-04-22 15:47:20
中国铁矿石谈判大获全胜!“锁喉”必和必拓:不降价?那就别卖了

中国铁矿石谈判大获全胜!“锁喉”必和必拓:不降价?那就别卖了

至死不渝的爱情
2026-04-23 09:35:56
突发!印度“发动袭击”!

突发!印度“发动袭击”!

财经要参
2026-04-23 09:00:12
俄罗斯被嘲笑了四年,美军打了一个月,世界才发现美国更拉胯

俄罗斯被嘲笑了四年,美军打了一个月,世界才发现美国更拉胯

远方风林
2026-04-22 12:01:18
重庆警方发布警情通报

重庆警方发布警情通报

极目新闻
2026-04-23 01:13:12
与富商海外产子真相大白1年后,江疏影现状曝光,王传君真没说错

与富商海外产子真相大白1年后,江疏影现状曝光,王传君真没说错

小樾说历史
2026-04-22 12:26:33
大理州政协发布最新人事任免

大理州政协发布最新人事任免

加油大理
2026-04-23 12:59:22
不可思议!现在的大学校园里有个很明显的现象:男女生根本不谈恋爱

不可思议!现在的大学校园里有个很明显的现象:男女生根本不谈恋爱

市井大实话
2026-04-23 09:24:57
斯诺克赛程:首轮打完,庞俊旭冲16强,第2轮开战,肖国栋PK墨菲

斯诺克赛程:首轮打完,庞俊旭冲16强,第2轮开战,肖国栋PK墨菲

刘姚尧的文字城堡
2026-04-23 08:15:50
2026-04-23 13:16:49
硬核玩家2哈
硬核玩家2哈
沉淀中,勿扰
1604文章数 7关注度
往期回顾 全部

科技要闻

车没卖爆,利润却大涨,特斯拉发布财报

头条要闻

媒体:当下越南"极度不安" 苏林访华签文件对冲"焦虑"

头条要闻

媒体:当下越南"极度不安" 苏林访华签文件对冲"焦虑"

体育要闻

莱斯特城降入英甲,一场亏麻了的豪赌

娱乐要闻

《凌探未来》公益纪录片今日发布

财经要闻

全球第一个国家宣布:储备6月耗尽

汽车要闻

长安"1445"战略:一张走向"世界长安"的行军地图

态度原创

健康
教育
亲子
公开课
军事航空

干细胞抗衰4大误区,90%的人都中招

教育要闻

中南林业科技大学35名研究生被退学,学校公布原因,家长看清现实

亲子要闻

“透明”的幼儿园:困在监控里的家长和老师

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普宣布延长停火 伊朗表态

无障碍浏览 进入关怀版