网易首页 > 网易号 > 正文 申请入驻

AI大模型重构安全攻防:人还没反应过来,智能体已经出手了

0
分享至

在2026全球数贸会·西湖论剑大会上,AI安全成为重要议题。

过去几个月,AI大模型安全事件时有发生,风险正在快速外溢。比如,OpenAI智能体协同入侵Hugging Face、Anthropic的Claude模型在测试中未授权访问3家机构系统等。

据海外机构今年9月发布的一份AI行业报告,89.5%的组织在过去12个月中遭受过生成式AI相关的安全入侵,较2025年的75.1%显著上升;88.4%的组织报告至少发生过一起与AI代理相关的泄露/入侵事件。

随着AI技术的发展,网络安全发生了显著变化。AI系统大模型越来越多参与系统的生成、任务理解、作出决策并执行动作,其正在改变信息系统的构成、行为方式、对抗模式和治理对象。

以对抗模式为例。西湖论剑大会多位嘉宾提到,网络安全其实也是一种对抗,目前的对抗模式由以前的人为主体转变为以Agent为主,Agent自主决策、自主执行。

此外,安全系统的边界也在呈动态变化,行为路径的不确定性增强了,人机交互下留给人类的干预窗口正在收窄。在Agent自主执行场景下,人类可能还来不及理解,没有时间介入、没有手段介入,这也使得系统面临着更大的风险。


大模型与智能体技术的出现,也正在推翻并重构传统的安全防御范式。

中国工程院院士吴世忠表示,“系统的内生风险超越了外延攻击,现在最大的危险不再仅仅是黑客入侵,可能还有算法本身的不可解释性、偏见、幻觉以及被诱导后的越权执行,也就是恶意行为。安全的核心变成了对智能系统怎么样校准、怎么样对齐。”

安恒信息研究院院长王欣在接受第一财经记者采访时也表示,这两年AI大模型的发展已经打破了“攻防平衡”。他提到,原来攻击者和防御者的能力水平差不多,这意味着攻击者实施犯罪的成本也会比较高。

这一系列变化直接引起了网络安全市场的调整。比起传统网络安全,目前AI安全需求迎来了高增长,已经有不少企业正在布局。

据IDC预测,中国人工智能安全收入将从2025年的44.1亿元增长至2030年的340.3亿元,五年复合增速约50.5%。作为对照,中国网络安全整体市场2024-2029年复合增速仅约8.9%,2026年整体规模约800亿元。AI安全市场的预计增速显著高于网络安全行业整体。

王欣介绍称,近两年企业端对于AI安全问题也越来越重视。他提到,原来的安全业务主要是围绕人为核心的检测和防御,未来可能会转向以AI为核心。

吴世忠认为,AI时代的博弈已经升级为“掌握了AI的人”在数字空间的较量,网络安全行业需要学习并掌控AI。

“从时间上来看,要从事后响应变成时间真空级的预测。”吴世忠表示,在毫秒级的时间窗口内,AI要在海量的网络噪音中精准捕捉到极其隐蔽的攻击前兆,在高级可持续威胁还没有形成的时候就能完成精准的预判甚至可能拦截,这将打破过去先被攻击、后补漏洞的滞后性。

安恒信息已经在进行相关业务的探索。记者注意到,西湖论剑大会现场发布了将为政企单位提供全天候智能防护的“X安全数字员工”,以及推动安全能力智能化生产与普惠化服务的“安全Token工厂”。

“过去的安全能力输出方式主要是由人提供服务,安全Token工厂是在高质量数据集基础上建立大模型智能体,之后再通过Token化的方式给千行百业提供服务。”王欣介绍,安全工厂之后将采用Token消耗的方式收费,倾向于解决具体的安全任务。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
你信不信?高中里那些长得最好看的姑娘,往往最后输得最惨

你信不信?高中里那些长得最好看的姑娘,往往最后输得最惨

户外阿毽
2026-10-13 03:13:55
79岁李保田老到认不出,住处杂乱喝10元桶装水,儿子求着他拍视频

79岁李保田老到认不出,住处杂乱喝10元桶装水,儿子求着他拍视频

长歌侃娱
2026-10-12 09:22:42
历史上令人无比头痛的匈奴,如今演变成了哪个民族?令人唏嘘不已

历史上令人无比头痛的匈奴,如今演变成了哪个民族?令人唏嘘不已

文史达观
2025-05-01 22:50:28
谢贤前女友CoCo大曝张柏芝三胎生父内幕,无底线爆料,账号被封!

谢贤前女友CoCo大曝张柏芝三胎生父内幕,无底线爆料,账号被封!

寻墨阁
2026-03-06 13:57:52
史上最可怕起义军:以人为食,食人30万,这是我们需要知道的真相

史上最可怕起义军:以人为食,食人30万,这是我们需要知道的真相

小豫讲故事
2026-10-16 06:00:15
当老实人开始退场,系统就危险了

当老实人开始退场,系统就危险了

余奕阳
2026-10-13 12:58:19
海会长怒斥曹云金:师父落难,不该带头砸场子,人格决定能走多远

海会长怒斥曹云金:师父落难,不该带头砸场子,人格决定能走多远

手工制作阿歼
2026-10-18 04:51:53
武汉盛帆女篮与华中科技大学女篮热身赛爆发大规模冲突,场面失控;高校队员事后在电梯内兴奋复盘打人细节:“我上去就给她三拳”

武汉盛帆女篮与华中科技大学女篮热身赛爆发大规模冲突,场面失控;高校队员事后在电梯内兴奋复盘打人细节:“我上去就给她三拳”

大风新闻
2026-10-17 11:23:04
20升桶装可乐惊现国外超市,陈震当场看傻,网友:能喝到过年!

20升桶装可乐惊现国外超市,陈震当场看傻,网友:能喝到过年!

爱下厨的阿酾
2026-10-17 06:16:58
刘丁硕:张继科巅峰期太短就三四年! 邓亚萍:刘丁硕是谁?没听说过

刘丁硕:张继科巅峰期太短就三四年! 邓亚萍:刘丁硕是谁?没听说过

念洲
2026-10-17 06:55:08
心源性猝死的人越来越多?再次强调:宁可吃猪肉,也别做5事

心源性猝死的人越来越多?再次强调:宁可吃猪肉,也别做5事

芹姐说生活
2026-10-09 22:47:28
离开小米1年 王腾创业后的首款新品下周官宣

离开小米1年 王腾创业后的首款新品下周官宣

快科技
2026-10-17 22:13:13
连续三年,闯进中网决赛者,来年必夺大满贯冠军

连续三年,闯进中网决赛者,来年必夺大满贯冠军

网球之家
2026-10-17 22:53:10
强奸儿媳,凌辱女儿致怀孕,儿子怒火中烧砍掉父亲下体,被判死缓

强奸儿媳,凌辱女儿致怀孕,儿子怒火中烧砍掉父亲下体,被判死缓

易玄
2026-08-10 02:49:08
养路收费迎来大调整!人民日报定调,油车电车不用慌

养路收费迎来大调整!人民日报定调,油车电车不用慌

趣味萌宠的日常
2026-10-17 06:43:20
从碾压安踏李宁,到月亏过亿:曾经的运动品牌顶流,到底错在哪?

从碾压安踏李宁,到月亏过亿:曾经的运动品牌顶流,到底错在哪?

三农老历
2026-10-03 11:12:46
《余红旧事》第19集郝洁这场自慰戏,有无必要?导演太会拍了

《余红旧事》第19集郝洁这场自慰戏,有无必要?导演太会拍了

露珠聊影视
2026-10-07 21:20:16
抖音网红表妹李KK塌房,彻底玩完

抖音网红表妹李KK塌房,彻底玩完

新浪财经
2026-06-23 00:08:03
日乒没想到,把伊藤美诚踢走不到1天,日媒爆猛料,自家后院起火

日乒没想到,把伊藤美诚踢走不到1天,日媒爆猛料,自家后院起火

吴蒂旅行ing
2026-10-17 11:36:17
A股:股市拐点来临了,不出意外,周一可能这样走!

A股:股市拐点来临了,不出意外,周一可能这样走!

财经大拿
2026-10-18 06:25:15
2026-10-18 07:00:49
第一财经资讯 incentive-icons
第一财经资讯
第一财经官方账号
269528文章数 623865关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

普京:包围并消灭2000人的乌军集群 这非比寻常

头条要闻

普京:包围并消灭2000人的乌军集群 这非比寻常

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

亲子
时尚
本地
手机
数码

亲子要闻

嘟嘟为了吃口雪糕能有多拼

降落伞裤的3组搭配,打破秋冬沉闷感!

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

手机要闻

消息称三星计划开发全新Galaxy OS系统,预计于2028年随Galaxy S28系列手机亮相

数码要闻

超七成笔记本OLED被三星拿捏!中国面板厂开始反击了

无障碍浏览 进入关怀版