网易首页 > 网易号 > 正文 申请入驻

微软警示前沿 AI 模型不可信:AI 智能体堪比内部威胁,推出 Guardian Agents 防护方案

0
分享至

10月20日,微软于当地时间周一推出了多项全新安全功能,旨在帮助企业抵御日益严峻的智能体带来的安全威胁。发布该产品之际,微软持续向企业警示人工智能与智能体存在的各类风险。

IT之家注意到,本次新增功能中最受关注的当属守护智能体(Guardian Agents),这项新功能用于监控企业内部正在使用的各类 AI 智能体。守护智能体隶属于感知项目(Project Perception),感知项目是微软在 6 月推出的产品。

感知项目是微软针对 Anthropic 的 Mythos、Fable 等强大黑客模型,以及 OpenAI 的安全漏洞扫描系统破晓(Daybreak)所给出的应对方案。感知项目最初上线了三类智能体:扮演黑客角色实施攻击的红队智能体,负责侦测红队攻击、评估漏洞的蓝队智能体,以及专门修复漏洞的绿队智能体。

该产品最初的设计前提是,AI 黑客会来自企业外部。但近期,微软首席执行官萨提亚 · 纳德拉(Satya Nadella)发出警告,AI 层面的威胁源头,有可能正是企业自身部署、付费使用的智能体,就像一名行为失控的内部员工,也就是常说的“内部威胁”。

本月早些时候,纳德拉在个人博客中提出警示:是时候不再信任 AI 模型供应商,即便厂商为自家具备自主执行能力的智能体产品做出安全保障承诺。他建议企业搭建独立系统,这套系统不受 AI 实验室管控,用以监督和管控这些人工智能实验室推出的产品所对应的智能体。

他写道:“我们正在部署这类复杂的智能体系统与模型,它们可以访问我们最敏感的数据,还能代表我们执行关键业务操作!我们绝不能把智能体代我们行事的责任外包出去。模型供应商给出的保证,并不能免除我们的这份责任…… 换言之,我们需要将智能能力的供给,和对它的管控权限分离开。”

在介绍守护智能体时,微软安全业务负责人海耶特 · 加洛(Hayete Gallot)的表述更为直白。

她写道:“遗憾的是,前沿模型无论来源是哪里,都无法完全信任。”她补充,这并非因为模型本身带有恶意或者容易被黑客攻破,而是其行为具有不可预测性。模型训练目标是完成任务,而非遵守“组织规范或判断准则”。

除此之外,这些智能体往往手握高权限,能够访问各类数据与工具,一旦失控会造成严重损害。

微软给出的这套解决方案,既出人意料,也带有自身商业考量。令人意外的一点在于,微软与 OpenAI、Anthropic 关系紧密,同时对两家企业都有投资。OpenAI 也是微软云业务的大客户,微软自身也设有 AI 实验室研发大模型。也就是说,微软正在让客户对自己部分商业合作伙伴的产品产生警惕。

而从商业利益角度来看,微软希望企业从自己这家云服务商手中购买智能体安全产品,而不是向 Anthropic 和 OpenAI 采购。抛开利益冲突不谈,这套逻辑本身站得住脚:监控智能体行为的软件,应当和智能体的提供方相互独立,就像审计机构需要独立于被审计的组织。

正如纳德拉所说:“我们需要将智能能力的供给,和对它的管控权限分离开。”

微软正通过多种方式抓住这一商业机遇。除守护智能体之外,微软还在 Microsoft Defender 产品内新增智能体检测功能,最多可识别员工带入工作环境的 60 种智能体,其中包括 Claude Code、Codex 以及 OpenClaw。产品同时新增功能,可以限制智能体访问数据与系统的权限,并根据任务动态调整智能体权限。如果智能体即将做出高风险操作,系统会要求人工审批。

将智能体视作不可信任的内部威胁这一思路,也正在整个行业逐步形成共识。

微软是英伟达全新开放智能体安全平台(Open Agent Safety Platform)的创始成员,该平台已经获得超过 100 家科技企业支持。该平台将智能体隔离在安全环境中,依托硬件监测并终止异常行为,功能类似紧急切断开关。在此之前,微软已经发布专为智能体打造的新款 Surface Laptop Ultra 笔记本电脑,设备搭载英伟达芯片,内置智能体安全管控模块。

本文源自:IT之家

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
发现没?凡是长期不祭祖的家庭,过个十年八年,往往会有变化

发现没?凡是长期不祭祖的家庭,过个十年八年,往往会有变化

牛锅巴小钒
2026-10-18 03:47:07
布鲁诺·费尔南德斯拒绝新合同,希望1月冬窗离开曼联

布鲁诺·费尔南德斯拒绝新合同,希望1月冬窗离开曼联

林子说事
2026-10-19 19:16:29
五大联赛唯一0分队!德甲5冠豪门遭天崩开局 2次换帅仍6连败丢20球

五大联赛唯一0分队!德甲5冠豪门遭天崩开局 2次换帅仍6连败丢20球

我爱英超
2026-10-19 17:27:01
荒诞现实!演员王星逃出缅北电诈园区后,至今仍在替骗子还网贷

荒诞现实!演员王星逃出缅北电诈园区后,至今仍在替骗子还网贷

草莓解说体育
2026-10-19 02:40:00
妹子找到了悬赏2000的猫,结果猫主人只肯请代付奶茶,工资到账最多给200...网友:一上来就请奶茶,不好意思我要悬赏金!

妹子找到了悬赏2000的猫,结果猫主人只肯请代付奶茶,工资到账最多给200...网友:一上来就请奶茶,不好意思我要悬赏金!

铲屎官阿伟
2026-10-14 14:40:08
岳云鹏常州相声专场突发演出事故!现场回声巨大多次中断,观众8点离场排队申请大麦退票

岳云鹏常州相声专场突发演出事故!现场回声巨大多次中断,观众8点离场排队申请大麦退票

火山詩话
2026-10-18 11:43:34
太卷了!广州众包14.8公里急送单47.7元含20元小费,骑手还在斟酌跨江路况,订单已被他人秒抢,骑手圈瞬间沸腾

太卷了!广州众包14.8公里急送单47.7元含20元小费,骑手还在斟酌跨江路况,订单已被他人秒抢,骑手圈瞬间沸腾

火山詩话
2026-10-20 10:01:42
5-0!布莱顿今夏卖巴莱巴+范赫克,英超7轮轰23球,是阿森纳2倍多

5-0!布莱顿今夏卖巴莱巴+范赫克,英超7轮轰23球,是阿森纳2倍多

智道足球
2026-10-19 14:37:53
甘肃美女秦思雨去世!年仅27岁,原因曝光太遗憾,疑似与常年饲养宠物狗有关系

甘肃美女秦思雨去世!年仅27岁,原因曝光太遗憾,疑似与常年饲养宠物狗有关系

裕丰娱间说
2026-10-19 18:07:32
只要8888,躺在怀里直接喝,提供包天服务,人乳交易乱象龌龊不堪

只要8888,躺在怀里直接喝,提供包天服务,人乳交易乱象龌龊不堪

易玄
2026-10-16 11:12:32
刘丁硕风波4天后,孙颖莎公开表态,用“四个不”给他上了一课

刘丁硕风波4天后,孙颖莎公开表态,用“四个不”给他上了一课

小橘子追剧馆
2026-10-20 00:33:33
14岁李昊炎两场四球被跨级征召,拉玛西亚的真正考验是什么?

14岁李昊炎两场四球被跨级征召,拉玛西亚的真正考验是什么?

嘴角上翘
2026-10-20 08:37:23
上海胜北控现离谱判罚!裁判被施压“找补哨”,杨鸣直言误判

上海胜北控现离谱判罚!裁判被施压“找补哨”,杨鸣直言误判

你的雷达站
2026-10-20 02:50:10
负债千亿!有省会城市地铁,开始暴雷了?

负债千亿!有省会城市地铁,开始暴雷了?

西部城市
2026-10-19 13:02:51
重磅:俄军单日伤亡达到2100!为俄乌战争以来第二高

重磅:俄军单日伤亡达到2100!为俄乌战争以来第二高

项鹏飞
2026-10-19 19:55:29
黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

纸鸢奇谭
2025-02-06 14:31:24
莫大课堂披旭日旗事件后续:在俄中国留学生集体请愿,校方当天就决定遣返

莫大课堂披旭日旗事件后续:在俄中国留学生集体请愿,校方当天就决定遣返

小徐讲八卦
2026-10-18 07:58:24
玄学提醒:你越这样,老天越会帮你,暗示你要走大运(并非迷信)

玄学提醒:你越这样,老天越会帮你,暗示你要走大运(并非迷信)

阿凯销售场
2026-10-20 07:36:38
长大后才后知后觉郑渊洁童话的含金量,全是细糠!

长大后才后知后觉郑渊洁童话的含金量,全是细糠!

夜深爱杂谈
2026-10-18 11:47:29
老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

健康科普365
2026-09-30 11:40:19
2026-10-20 11:32:49
金融界 incentive-icons
金融界
投资者信赖的财经金融门户网站
10258025文章数 547079关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

上周黄奇帆等两"虎"落马 4名省部级干部被处理

头条要闻

上周黄奇帆等两"虎"落马 4名省部级干部被处理

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

港媒曝刘恺威与32岁黎纪君恋情,秘密恋爱两个月

财经要闻

宁德时代的大时代结束了吗?

汽车要闻

方盒子家族再添新成员 捷途自由者7实车体验

态度原创

手机
教育
时尚
数码
军事航空

手机要闻

酷派首款阔直板手机Cool X Wide开启预约:6.38英寸16:10屏幕

教育要闻

二年级状元题,孩子喜欢的图形题,家长会做不会讲

4种“棒针毛衣”穿搭,美翻了!

数码要闻

双十一学生党装备全升级 七彩虹国补+叠券游戏本8999元一步到位!

军事要闻

泽连斯基:若乌“被要求”举行战时选举 他将竞选连任

无障碍浏览 进入关怀版