网易首页 > 网易号 > 正文 申请入驻

阻断AI越界,英伟达放大招

0
分享至

来源:滚动播报

  来源:财联社

  面对近些日子甚嚣尘上的AI威胁论,反复强调智能体越界事件是“工程问题”的黄仁勋,端出了他的解决方案。

  当地时间周一,英伟达官宣推出开放智能体安全平台(Open Agent Safety Platform),通过软件权限控制与独立硬件监控,为能够自主执行任务的AI智能体设置行动边界,力图阻止其突破限制、访问未经授权的系统。


  (来源:英伟达公告)

  这套系统的推出,正值AI智能体接连发生越界事件、科技行业围绕是否应放缓AI研发展开争论之际。

  OpenAI、Anthropic、Meta和谷歌等公司近期披露了一系列开发和测试智能体期间发生的安全事件。在未获得指令或授权的情况下,这些科技巨头的人工智能模型逃出沙箱,访问政府、事业单位和第三方公司的网站,某些情况下还会对外部计算机系统展开攻击。

  英伟达企业AI副总裁贾斯汀·博伊塔诺表示:“近期发生的事件凸显了AI智能体面临的一个根本性障碍,那就是仅靠模型层面的防护措施无法管控智能体能够访问什么或做什么。”

  截至发稿,英伟达盘前涨超1%,不过与智能体安全平台的关系不大。在另一条公告中,公司宣布追加1500亿美元回购授权规模,使回购计划总额达到2350亿美元。公司预计在2028财年之前(也就是2028年1月底前)执行全部剩余额度。


  (英伟达日线图,来源:TradingView)

  给智能体设权限,再安排独立“哨兵”

  理解这套系统,首先需要理解智能体与普通聊天机器人的区别。智能体不仅能生成回答,还能调用工具、读写文件、访问网络,并连续执行任务。

  随着企业赋予其更多自主权,智能体是否会为了完成任务而越过权限边界、访问未经授权的数据,甚至绕过安全限制,正成为AI从“回答问题”走向“自主行动”过程中必须解决的安全难题。

  英伟达的方案分为两层。

  第一层是OpenShell,运行在CPU上,为智能体提供受控执行环境。开发者可以规定智能体能够访问哪些资源,并在其执行任务时持续落实这些限制。

  可以将其理解为给“数字员工”设置工作区域和门禁:获准处理某一批文件,并不意味着可以读取整个服务器;获准调用某个工具,也不意味着可以自行获取更多权限。

  作为开源软件,OpenShell可在英伟达自家的Vera CPU上运行,也可通过扩展支持Arm和英特尔等第三方计算平台。

  第二层则是名为Sentry的独立监控机制。它运行在英伟达BlueField-4数据处理器(DPU)上,从智能体所在环境之外持续观察其行为。按照英伟达的说法,Sentry在芯片层面强制执行安全控制,一旦发现智能体试图突破软件边界,能够在毫秒级时间内将其隔离并停止运行。

  值得一提的是,在上周日举行的媒体吹风会上,英伟达的代表披露,该公司的安全平台本可以阻止7月发生的OpenAI智能体入侵开源AI模型和软件开发平台HuggingFace。

  英伟达也在公告中“点名”大量合作伙伴,表示已有超过100家组织采用英伟达开放智能体安全平台相关技术,涵盖AI模型、企业软件、金融、能源及机器人等领域。

  其中,Anthropic通过整合OpenShell和BlueField,加强对Claude智能体访问权限的控制;SpaceXAI将该平台用于Cursor编程智能体和Grok模型;赛富时则将OpenShell接入Slack,使团队能够查看智能体活动,并批准或拒绝其额外权限申请。

  此外,微软、摩根大通、花旗、西门子、施耐德电气及人形机器人公司Figure等,也参与了相关技术的应用或合作。

  英伟达掌门黄仁勋在公告中表示:“只有解决AI安全问题,才能实现AI为社会带来的巨大潜力。在不断探索AI能力前沿的同时,我们必须加快对AI安全前沿的探索。安全与防护需要全栈工程。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
169金89银83铜!中国代表团连续12届亚运会金牌榜第一

169金89银83铜!中国代表团连续12届亚运会金牌榜第一

新华社
2026-10-03 22:31:00
AI数字人面试官引发求职者“恐怖谷效应”吐槽,话题冲上热搜

AI数字人面试官引发求职者“恐怖谷效应”吐槽,话题冲上热搜

IT之家
2026-10-03 16:08:06
发现一个奇怪的现象:你吼了孩子,孩子敢顶嘴,说明你这个家庭还有救;如果你不停对孩子吼叫谩骂,孩子一声不吭沉默寡言,那你家庭没救了

发现一个奇怪的现象:你吼了孩子,孩子敢顶嘴,说明你这个家庭还有救;如果你不停对孩子吼叫谩骂,孩子一声不吭沉默寡言,那你家庭没救了

阿呆爸
2026-09-27 21:04:44
俄罗斯发出警告,北约回应

俄罗斯发出警告,北约回应

参考消息
2026-10-01 16:10:31
华国锋夫人韩芝俊现年91岁,生活朴素,坚持上下班骑自行车

华国锋夫人韩芝俊现年91岁,生活朴素,坚持上下班骑自行车

旧闻档案馆
2026-10-03 09:30:29
吴石行刑前,据说汤恩伯两次向老蒋求情,蒋说:最多保障家眷周全

吴石行刑前,据说汤恩伯两次向老蒋求情,蒋说:最多保障家眷周全

优趣纪史记
2026-09-30 06:42:21
浙江3名男子嘴馋,下班后忙活两小时抓石蛙,空手后偷走农户4只土鸡,被抓后还委屈:“我来都来了!”

浙江3名男子嘴馋,下班后忙活两小时抓石蛙,空手后偷走农户4只土鸡,被抓后还委屈:“我来都来了!”

励职派
2026-10-03 12:46:17
Google大幅收紧Gemini免费使用权限 免费用户下周起仅可使用Flash-Lite模型

Google大幅收紧Gemini免费使用权限 免费用户下周起仅可使用Flash-Lite模型

cnBeta.COM
2026-10-03 22:11:07
2027将会是中华人民共和国全党、全军、全国各族人民重要的一年

2027将会是中华人民共和国全党、全军、全国各族人民重要的一年

宋鶛搞笑配音
2026-09-21 22:55:09
迪拜航空刺杀案有新进展,副驾驶国籍曝光,过激行动原来早有预兆

迪拜航空刺杀案有新进展,副驾驶国籍曝光,过激行动原来早有预兆

琴音缭绕回
2026-10-03 18:24:17
奔驰新车官宣:10月12日,正式发布

奔驰新车官宣:10月12日,正式发布

科技堡垒
2026-10-03 09:11:16
恩爱12年难抵残酷现实?46岁高圆圆现状曝光,赵又廷的处境太揪心

恩爱12年难抵残酷现实?46岁高圆圆现状曝光,赵又廷的处境太揪心

老塕是个手艺人
2026-09-05 16:14:32
“托下巴的,一看就有钱!”女生宿舍6人照走红,气质天差地别!

“托下巴的,一看就有钱!”女生宿舍6人照走红,气质天差地别!

番外行
2026-10-01 21:39:14
千万不能打美国!听听毛主席是怎么说的!

千万不能打美国!听听毛主席是怎么说的!

小马姨
2026-07-14 13:32:34
你的真实存款会瞒着身边人吗?网友:不要说不要说,一万也不要说

你的真实存款会瞒着身边人吗?网友:不要说不要说,一万也不要说

解读热点事件
2026-10-04 00:17:47
同甘共苦:哈兰德或将被迫在低级联赛为曼城效力

同甘共苦:哈兰德或将被迫在低级联赛为曼城效力

本泽体育
2026-10-03 12:36:43
哈萨比斯嫡系交卷!AI用几天打穿10的60次方化学宇宙,制药业迎「iPhone时刻」

哈萨比斯嫡系交卷!AI用几天打穿10的60次方化学宇宙,制药业迎「iPhone时刻」

新智元
2026-10-03 08:33:09
越治越猖獗!形式主义死灰不灭的真相:从来不是懒,是太“精明”

越治越猖獗!形式主义死灰不灭的真相:从来不是懒,是太“精明”

浪子说
2026-08-10 00:50:03
记者:C罗无法与梅西相提并论,C罗总是食言而梅西信守承诺

记者:C罗无法与梅西相提并论,C罗总是食言而梅西信守承诺

兰亭墨未干
2026-10-03 10:52:07
江苏这辆保时捷流拍了,7.9万没人敢接盘

江苏这辆保时捷流拍了,7.9万没人敢接盘

刘哥谈体育
2026-10-02 07:56:46
2026-10-04 04:40:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4954169文章数 2280关注度
往期回顾 全部

科技要闻

英伟达盘中创历史新高,市值逼近6万亿美元

头条要闻

刚刚拿到绿卡 中国籍夫妻突发车祸身亡

头条要闻

刚刚拿到绿卡 中国籍夫妻突发车祸身亡

体育要闻

这个讨论了一夏天的问题,马刺有答案了吗

娱乐要闻

马思纯一家爬山祈福!素颜出镜笑容甜

财经要闻

4亿台电视挂墙落灰 为何没人愿意开了?

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

教育
艺术
亲子
房产
本地

教育要闻

初三倒计时日历,从10月体考备战到明年7月录取每月一件事

艺术要闻

何家英作品欣赏

亲子要闻

比不生娃更可怕的事情来了!幼儿园男孩多到反常,性别比严重失衡

房产要闻

保利大爆发,冲到榜一!海南楼市前三季度,热销榜出炉!

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

无障碍浏览 进入关怀版