网易首页 > 网易号 > 正文 申请入驻

高盛的 Zero Trust:AI 安全正在离开模型

0
分享至

过去两年,企业在讨论 AI 安全时,几乎所有争论最终都会收敛到同一个问题上:我们到底应该相信哪个模型?闭源模型还是 Open-weight Model,美国模型还是其他国家的模型,大厂托管的模型还是自己部署的模型,一个经过 Safety Training 的模型,是否天然比一个可以自由修改权重的模型更值得托付?

这些问题当然重要,但它们共享着同一个隐含前提:企业必须先找到一个"足够可信"的模型,然后才敢把重要业务交给它。信任在这里被当成了准入条件,而不是被当成风险本身。

9 月 8 日,Axios 刊出对高盛首席信息官 Marco Argenti 的独家专访。Argenti 的立场是,企业不应该先验地排除 Open-weight Model,只要遵循一套相应的防护措施,包括银行在内的机构应当有足够的保证去运行任何来源的模型。值得注意的是,他并没有试图论证 Open-weight Model 本身足够安全,而是把网络安全领域两个非常成熟的原则直接搬进了 AI:Zero Trust 与 Defense in Depth。Axios 对前者的概括极其直接——假设模型可能已经遭到破坏。

这句话真正值得停留的地方,不在 Open Model,而在"假设"两个字。一旦这个假设被接受,AI 安全里的许多问题就必须被重新定义。

一、过去的问题是:这个模型可信吗?

今天绝大多数企业采用 AI 的流程,本质上是一条审查链:模型评估、Red Team、Safety Benchmark、供应商审查、数据安全评估、模型风险评级,最后形成一个judgment——这个模型的风险可以接受,于是它被允许进入企业。

这套方法本身没有错,它甚至是必要的。真正的问题在于,它很容易在无人察觉的情况下完成一次安全责任的转移:只要模型已经通过审查,后面的系统就会开始越来越相信它。

这种信任的膨胀通常是渐进的,也因此格外难以察觉。模型先是被允许访问更多数据,接着被允许调用更多 Tool,Agent 被允许操作越来越多 API,自动化程度不断提高,人工确认的环节被逐一取消。到了某个节点,一个原本只负责生成文本的概率系统,已经悄然变成了能够改变现实状态的行动主体。

于是企业真正依赖的东西也发生了替换。它依赖的不再只是模型的输出质量,而变成了一件更强的事情:模型不会在关键时刻做出错误行动。

这里隐藏着一个几乎不可能成立的假设——我们能够持续地判断一个模型到底可不可信。

但模型显然不是一个静态对象。Prompt 会变,Context 会变,Tool 会变,System Prompt 会变,模型版本会变,Fine-tuning 会变,外部输入会变,模型所连接的企业数据也会变。甚至完全相同的模型权重,放在不同的 Agent Framework、不同的权限配置和不同的业务流程里,其风险画像都可能截然不同。一次通过的评估,评估的是那个时刻的那个组合,而不是此后所有时刻的所有组合。

所以问题正在从"哪个模型安全",转向一个更根本的追问:为什么系统的安全性必须依赖模型始终安全?

这是两个完全不同的问题。前者寻找的是一个可信对象,后者质疑的是这种寻找本身。

二、Zero Trust 真正进入 AI,意味着什么?

要理解这种转向的分量,需要先回到 Zero Trust 在传统安全世界里到底改变了什么。

它最重要的贡献从来不是增加了一套认证产品,而是推翻了一个基本假设:不要因为一个主体已经进入网络,就默认它之后的所有行为都是可信的。身份是真的,不代表这一次请求是真的;设备是合规的,不代表设备没有失陷;账号拥有权限,不代表这一次操作符合业务意图。Zero Trust 真正在做的事情,是不断缩短信任传播的距离,让每一次验证都尽可能贴近它所要保护的那个动作。

到了 AI Agent 的世界,这个原则的必要性只会更强。因为我们第一次面对一种如此特殊的软件组件:它可能理解错误,可能被 Prompt Injection,可能受到 Context Poisoning,可能调用错误的工具,可能在长链任务中逐步偏离最初目标,也可能因为供应链、Fine-tuning 或模型文件本身被修改,而在某些特定条件下表现出完全不同的行为。它的失效方式不是崩溃,而是继续流畅地、看起来完全正常地工作下去。

因此,"这个 Agent 使用的是经过批准的模型"与"Agent 这一次准备执行的行动是安全的",这两句话之间并不存在天然的等号。前者是一次性的资格认定,后者是一次具体的事实判断。

如果真正接受 Zero Trust,模型就不应该因为通过了一次安全评估,从此获得持续性的信任。在它每一次准备越过重要边界时,系统仍然应该重新发问:它准备做什么,对谁做,操作的是什么对象,当前状态是什么,使用了哪一份权限,依据是什么,参数有没有在链条中途发生变化,最终执行的对象是不是最初被授权的那一个。

到这一步,AI 安全所关注的对象已经开始位移——从 Model Identity,逐渐转向 Action Validity。

信任一个主体,和验证一次行动,从来不是同一件事。
三、真正重要的变化,是安全责任开始离开模型

Argenti 提出的另一半,Defense in Depth,正是这种位移在架构上的落点。

据 Axios 报道,他把这套防御拆成四层:模型测试与认证、安全的推理环境、被严格监控的 Agent 权限,以及对企业数据访问的控制。高盛现有的 AI 系统并不直接访问底层数据源,而是经过银行自己的数据平台,由这个中间层负责执行访问控制。

这是一个比"支持开源模型"重要得多的架构信号。它意味着模型不再拥有最终解释权。

模型可以提出请求,但数据平台决定它能看到什么;模型可以生成行动,但权限系统决定它能调用什么;模型可以参与决策,但外围系统继续构成独立于模型判断之外的安全边界。这些边界的有效性,不依赖模型此刻是否清醒。

这正是 Defense in Depth 最有价值的部分:它的目标不是造出一个更坚固的模型,而是让任何一层的失败都不会导致整个系统一起失败。假设模型产生幻觉,系统还有边界;假设模型被 Prompt Injection,系统还有边界;假设 Agent Framework 出现漏洞,系统还有边界。再推进一步——假设模型本身被恶意修改,系统仍然应该有边界。

这比"选择一家更可信的模型供应商"要成熟得多。前者是在采购环节解决安全问题,后者是在架构环节解决安全问题。而只有后者,才能在供应商的承诺失效之后依然存在。

四、模型应该变成一个可替换组件

安全责任一旦离开模型,会立刻带来一个非常现实的商业后果。

如果企业的安全性主要来自模型自身,那么更换模型就是一件危险的事情。Claude 换成 GPT,需要重新评估;GPT 换成 Gemini,需要重新评估;闭源模型换成 Open-weight Model,整套安全假设几乎要从头开始。每一次模型变化,都意味着一次重新论证。

久而久之,企业会形成一种相当严重的模型依赖,而这种依赖的成因往往被误读。它不是因为某个模型的能力无法替代,而是因为安全架构与那个模型绑定在了一起。锁定的从来不是能力,是假设。

但如果真正采用 Defense in Depth,模型就会开始更像数据库、CPU、操作系统或者云服务中的某一个组件。它当然重要,它依然需要评估,但它不应该成为整个系统安全成立的单点前提。

今天使用 Claude,明天使用 GPT,后天使用 Gemini,某个业务采用 Open-weight Model,某个敏感业务甚至采用企业自己 Fine-tune 的模型——在这些变化之间,安全系统应该尽可能保持同一套边界。

这才是真正意义上的 Model Agnostic。它不是"我的系统支持十种模型 API"这种接口层面的兼容性。

真正的 Model Agnostic 是:无论模型是谁,关键安全属性都不跟着模型一起变化。

前者是采购的自由,后者是架构的自由。Axios 提到,大多数企业目前在模型选择上本就倾向于保持中立,以避免供应商锁定。但如果安全边界仍然长在模型身上,这种中立就只是暂时的、而且随时可能被收回的自由。

五、这可能也是 AI Agent 时代真正困难的地方

不过,即便边界从模型转移到了系统,还有一个问题没有被解决。

传统 Defense in Depth 保护的对象,大多是数据访问、网络访问、身份权限和服务调用。这些控制仍然重要,但它们共享一个前提:被保护的东西是"信息"。而 Agent 带来的变化是,它不只是访问系统,它开始改变现实。

发送一笔支付,创建一个账户,修改生产配置,提交代码,调用交易接口,控制工业设备,批准订单,执行资产转移。当 AI 从 Information System 进入 Action System 之后,"它有没有权限调用这个 API"就不再是一个足够的问题。

因为一次真正的事故,完全可能满足所有传统安全条件:身份合法,Token 合法,网络合法,API 合法,权限合法,甚至 Agent 本身也是公司正式批准部署的 Agent。每一道检查都通过了,但它执行的那件事情仍然是错的。

这是 AI Agent 时代最容易出现、也最难被现有体系捕捉的一种危险状态:Authorized,但不 Intended。

系统仔细验证了 Who can do it,却从未真正验证 Should this action happen。前者是一个关于资格的问题,后者是一个关于这一次、这个对象、这个金额、这个时点的问题。资格可以预先授予,具体行动不能。

因此,Defense in Depth 如果继续向前发展,最终很可能需要出现一个新的、独立的层——它不再判断模型是谁,也不再判断谁有权限,而是在真正执行之前判断:这一次行动本身,是否满足执行条件。

这一层的价值,恰恰体现在它拥有拒绝的能力。一个不能说"不"的检查环节,本质上只是一段日志。而这种最终拒绝能力之所以必须独立于模型,是因为它要防御的正是模型本身的失效——如果拒绝的依据来自被怀疑的那个主体,防御就等于没有发生。

这也是整件事在思想上最关键的一次跨越:从依赖一个可信的判断者,走向依赖一个可信的结构。

六、"不信任模型"并不意味着"模型不重要"

走到这里,很容易产生一个误解,需要明确澄清。

假设模型不可信,并不等于模型 Safety 没有意义。恰恰相反,模型越安全越好,Alignment 越好越好,Prompt Injection Resistance 越强越好,Interpretability 越强越好,模型供应链越可信越好。这些工作的价值不会因为架构层面的怀疑而减损。

但它们应该属于 Risk Reduction,而不应该自动变成 Security Boundary。

这个区别看似细微,实则决定了整个系统的性质。风险削减降低事故发生的概率,安全边界决定事故发生后的后果。把前者当作后者使用,等于用概率去承担确定性的责任。

一个成熟的工程传统早就理解这一点。飞机当然希望飞行员永远不犯错,金融系统当然希望员工永远不点钓鱼邮件,服务器当然希望管理员账号永远不会泄露。但没有任何一个严肃的安全工程会因此设计出"只要这个人足够可靠,系统就安全"的架构。我们设计的是最小权限、双人复核、交易限额、网络隔离、异常检测、独立审计、硬件安全模块和 Fail-safe。

这些机制的存在,并不构成对参与者的不敬。它们只是承认了一件事:可靠的人也会有不可靠的时刻,而系统需要在那个时刻仍然成立。

成熟的工程从不要求某个参与者永远正确,它只关心:当它不正确的时候,系统会发生什么。

AI 也应该被这样对待。这不是对模型的贬低,这是把它当作真正的关键组件来对待。

七、未来企业购买的,也许不是"最安全的模型"

这种视角的变化,最终会传导到市场上,改变企业实际在为什么付钱。

过去企业会问:哪一家模型安全性最好,哪一个模型最适合金融,哪一个模型最值得长期押注。这些问题指向的都是同一类答案——一个更值得信任的对象。

以后,一个更成熟的问题可能会变成:我的系统能不能让我安全地更换模型?甚至更冷峻一点:如果我无法信任模型,我的关键业务还能不能运行?

Argenti 对 Axios 说,高盛希望的是在不增加风险的前提下拥有选择权。这句话可以被读作一个采购原则,也可以被读作一个架构目标——选择权本身,是被防御层数换来的。

在这个逻辑下,企业真正购买的就不只是模型能力,而是一组围绕模型的能力:隔离能力,权限约束能力,数据边界,Agent Runtime Control,执行边界,证据能力,以及异常发生之后的阻断能力。归根结底,是一个问题的答案——在某个组件失陷以后,整个系统还能剩下多少安全性。

这才是 Defense in Depth 最核心的价值所在。

它不是让所有东西都值得信任,而是让系统不需要一次性相信所有东西。
八、AI 安全可能正在经历一次很经典的成熟过程

如果把视野拉远,会发现这并不是一次特殊的转变。几乎每一代计算基础设施走向成熟时,都经历过结构相同的过程。

最早,人们相信网络内部,后来有了 Zero Trust。最早,人们相信登录之后的用户,后来有了持续认证和最小权限。最早,人们相信软件供应链,后来开始要求签名、Attestation、SBOM 和 Provenance。

规律是一致的:一项技术真正成为关键基础设施之后,它的安全体系都会逐渐从"寻找可信对象",走向"限制不可信对象能够造成的后果"。这不是因为人们变得更加悲观,而是因为系统变得更加重要,重要到不能再把安全建立在某个环节的良好状态之上。

AI 恐怕也不会例外。今天我们仍然花大量时间讨论哪个模型更安全、哪家公司更可信、Open Model 有没有风险、Closed Model 是否更可控。这些问题会继续存在,也应该继续存在。但真正成熟的下一阶段,很可能会问一个更冷静的问题:假设答案是"不可信",然后呢?

模型可能犯错,Agent 可能偏离任务,Prompt 可能被污染,上下文可能不完整,工具可能返回恶意内容,SaaS 可能失陷,甚至模型权重本身都可能被替换。安全架构不能假设这些事情永远不会发生,它应该假设其中一些事情迟早会发生,然后在这个前提下继续设计系统。

高盛这次表态真正有意思的地方也在这里。它表面上是在讨论企业应不应该使用 Open-weight Model,实际上触及的是一个远比 Open Model 更大的问题:AI 的安全究竟应该建立在哪里?

如果答案仍然是"建立在我们选中了一个足够可信的模型上",那么随着 Agent 能力越来越强、越来越多的行动被直接交付给它,这个前提只会越来越脆弱。它不会在某一天突然崩塌,它只会在无数次顺利执行之后,被一次完全合规的错误行动击穿。

真正成熟的 AI 基础设施,应该允许模型变化,允许模型犯错,允许模型被攻击,甚至在设计假设里,允许模型本身就是不可信的。因为可靠的安全系统从来不要求世界里的每一个参与者都值得相信,它真正需要保证的是:即使其中一个参与者不值得相信,重要的事情仍然不能因此随意发生。

说到底,需要被约束的从来不是某一个模型。而是那种不受检验、就能把一个判断直接变成现实的执行权力。成熟的 AI 基础设施,不应该要求企业先相信模型,才能相信系统。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
护士骂医生的理由能多离谱?网友:主任医师,会给些面子,毕竟年纪都赶上我爸妈了

护士骂医生的理由能多离谱?网友:主任医师,会给些面子,毕竟年纪都赶上我爸妈了

带你感受人间冷暖
2026-09-19 00:05:27
世体:阿尔瓦雷斯领跑近十年马德里德比射手榜

世体:阿尔瓦雷斯领跑近十年马德里德比射手榜

懂球帝
2026-09-19 20:06:09
鞠建东:建议我国对外发行10万亿人民币计价国债 实现中国经济三重再平衡

鞠建东:建议我国对外发行10万亿人民币计价国债 实现中国经济三重再平衡

证券时报
2026-09-19 10:34:06
脑出血与戴帽子有关?医生多次苦劝:过了71岁后,这6件事要警惕

脑出血与戴帽子有关?医生多次苦劝:过了71岁后,这6件事要警惕

路医生健康科普
2026-09-17 06:00:09
黄兴反对孙中山在新党章设“绝对效忠领袖个人”

黄兴反对孙中山在新党章设“绝对效忠领袖个人”

小豫讲故事
2026-09-19 06:00:14
邱毅态度大反转!从批评郑丽文无能,到盛赞她胆识过人

邱毅态度大反转!从批评郑丽文无能,到盛赞她胆识过人

一口娱乐
2026-09-20 07:00:58
亚运会:国乒开门红!首战孙颖莎、王曼昱休息,陈熠打头阵轰出11-1

亚运会:国乒开门红!首战孙颖莎、王曼昱休息,陈熠打头阵轰出11-1

全言作品
2026-09-20 09:31:20
油价大降超2.1元/升,今年“大跌5次”的油价,已涨12次,9月汽柴油或再“涨超610元/吨”!

油价大降超2.1元/升,今年“大跌5次”的油价,已涨12次,9月汽柴油或再“涨超610元/吨”!

油价早知道
2026-09-19 04:43:26
两年前的精日,两年后的精日

两年前的精日,两年后的精日

新潮沉思录
2026-09-19 22:56:04
都说你是数据刷子,如今场均20+5,打成联盟第一,还拿到2亿肥约

都说你是数据刷子,如今场均20+5,打成联盟第一,还拿到2亿肥约

大西体育
2026-09-20 10:36:25
日媒吐槽亚运会开幕式:现场空空荡荡!日本网友:还是杭州亚运会精彩

日媒吐槽亚运会开幕式:现场空空荡荡!日本网友:还是杭州亚运会精彩

念洲
2026-09-19 20:29:15
进口垄断彻底终结?挪威三文鱼空运到中国的时代,正在加速落幕

进口垄断彻底终结?挪威三文鱼空运到中国的时代,正在加速落幕

抽象派大师
2026-09-17 14:33:45
硫磺熏笋事态失控!监管局确认,毒素超标百倍,货品销往全国各地

硫磺熏笋事态失控!监管局确认,毒素超标百倍,货品销往全国各地

笑饮孤鸿非
2026-09-19 20:16:27
中国队金牌+1!林鑫瑜夺得名古屋亚运会铁人三项女子个人赛金牌

中国队金牌+1!林鑫瑜夺得名古屋亚运会铁人三项女子个人赛金牌

都市快报橙柿互动
2026-09-20 11:14:44
选择党拿下第二个州议会,德政坛“防火墙”缘何失灵

选择党拿下第二个州议会,德政坛“防火墙”缘何失灵

上观新闻
2026-09-20 06:55:47
你见过哪些因姓氏而惊艳的名字?网友:让你体验一个名字一种气质

你见过哪些因姓氏而惊艳的名字?网友:让你体验一个名字一种气质

另子维爱读史
2026-09-19 19:50:03
金佛在哪?早融成金条了!

金佛在哪?早融成金条了!

老凤说财经
2026-09-18 14:17:37
太现实了!17999元买台手机,上海打工67天,西宁却要174天

太现实了!17999元买台手机,上海打工67天,西宁却要174天

可达鸭面面观
2026-09-17 17:06:02
苹果硬件主管:看到iPhone贴膜,我浑身难受

苹果硬件主管:看到iPhone贴膜,我浑身难受

字节漫游指南
2026-09-20 00:08:08
郭有才解散三十多人团队退掉深圳直播间 重回菏泽南站烤腰子

郭有才解散三十多人团队退掉深圳直播间 重回菏泽南站烤腰子

小椰的奶奶
2026-09-20 01:28:52
2026-09-20 12:20:49
HavenlonLabs
HavenlonLabs
Havenlon|研究AI时代的执行安全与物理信任边界
119文章数 0关注度
往期回顾 全部

科技要闻

谷歌承认:AI模型“黑”进3家公司

头条要闻

女子洗澡后下单退货被快递员推门而入看光 当事人发声

头条要闻

女子洗澡后下单退货被快递员推门而入看光 当事人发声

体育要闻

2026亚运会开幕式 胡明轩吴愉担任旗手

娱乐要闻

马伊琍被曝有新恋情,约会被拍

财经要闻

伪造票据洗白药品 回流药黑色产业链曝光

汽车要闻

大五座布局 车身尺寸不变 吉利银河M8申报信息公布

态度原创

游戏
房产
家居
健康
军事航空

PS6大规模量产准备曝光!明年5月预留产能 年末上市

房产要闻

海口房价,降不动了!

家居要闻

2026建博会(广州) 公装联探展交流活动

脑动脉瘤的治疗方法,该选哪一种?

军事要闻

伊朗称已向美政府传达7项谈判条件

无障碍浏览 进入关怀版