网易首页 > 网易号 > 正文 申请入驻

他们说:AI时代的安全问题,要“以模治模”

0
分享至

文/陈锋

编辑/子夜

2025年以来,DeepSeek火爆出圈的连锁反应下,全球范围内,大模型赛道的主流叙事已经悄然生变。

从互联网大厂到初创AI公司,行业一边进入新一轮技术竞赛,另一边,从to C到to B,大模型在应用侧的落地进程也在骤然加速,不少业内人士都将2025年称为AI应用爆发元年。

但像任何一项新技术背后存在的两面性那样,大模型技术火热之下,即将迎来的AI应用爆发潮,也在滋生潜在的网络安全隐患。

比如,根据腾讯云洞察,DeepSeek出圈以来,疑似仿冒DeepSeek的域名呈现爆炸式增长,春节前后,其累计观察到疑似仿冒DeepSeek的网站超过2万个;其还监测到,有大量仿冒站点,通过社交平台引流C端用户,指向虚拟币平台和色情网站。

与此同时,也有部分黑灰产,通过伪造提供DeepSeek本地部署和提供行业解决方案,对企业实施钓鱼攻击。

这种态势下,如何及时洞察到AI时代下最新的网安攻防态势、挖掘出更多的网安风险、探索出当下AI赋能网安建设的思路和路径,变得尤为重要。

连线Insight日前参与了腾讯云安全云鼎实验室主办的一场“模型有界,安全无疆”大模型安全学术沙龙。我们注意到,这次研讨会,就是一个观察AI时代网安攻防新范式、从攻防实践中抽离出网安建设新思路的窗口。

图源腾讯安全官方微信公众号

1、网安攻防新态势:大模型引发新的潜在安全风险

去年年底,福布斯发布的“2025年AI十大预测”中,作者Rob Toews在其中一项预测中提到:

第一起真正的AI安全事故将会发生。

“或许,某个AI模型可能试图悄悄地在另一个服务器上创建自己的副本以确保自身存续;或许,某个AI模型可能会得出结论,为了最好地推进自己被赋予的目标,它需要隐瞒自己能力的真实范围,故意降低性能评估以避开更为严格的审查......”他如此写道。

事实上,当前阶段,大模型能力的快速进化所带来的潜在安全风险,早已不止于大模型自身的“策略性欺骗”“伪装对齐”。

比如针对当下火热的AI智能体,3月13日,美国网络安全公司Symantec通过一项测试指出,AI智能体已突破了传统工具功能限制,可轻松协助黑客发起钓鱼攻击。

此外,OpenAI早在2023年底曝出的“奶奶漏洞”(即用户通过包装话术,可以骗过ChatGPT输出不该输出的内容)、我们上文提到的仿冒DeepSeek域名及网站、不法分子通过深伪技术进行诈骗等,都是网络安全严峻态势的写照。

这背后实则是,一方面,大模型技术的加速迭代,引入了大量全新、复杂的风险与威胁。

Freebuf在《2024全球AI网络安全产品洞察报告》中提到,AI大模型存在的安全风险主要分为三类,分别是训练数据的安全风险、大模型本身的安全风险和外部攻击风险。

具体来看,包括数据泄露及数据投毒等大模型在训练数据中的安全风险、海绵攻击、武器化模型等外部网络攻击与风险等。

与此同时,大模型的两面性也决定了,某种程度上,借助大模型,黑灰产与网络犯罪的攻击门槛也可能会降低。

比如攻击者通过AI大模型高效生成欺诈内容、快速挖掘潜在漏洞并提炼其中的共性缺陷提升攻击效率、基于大模型的逻辑推理和策略规划能力制定更复杂攻击策略、针对已有漏洞向不同目标批量发起攻击。

另一方面,大模型在更多应用、业务场景的落地过程中,网安风险也在加剧。

沙龙上,绿盟天元实验室高级研究员、M01N战队核心成员祝荣吉就总结,未来的大模型安全风险,可以分为两个比较大的方面:

一方面,AI与应用结合过程中,会产生新型风险,比如内容安全风险、提示词对抗风险等;另一方面,AI与传统应用结合过程中,也会把一些传统的安全问题放大,比如由于AI技术的快速迭代,现有AI应用的开发流程、安全建设流程无法完全覆盖相关新型业务组件的引入等。

绿盟天元实验室高级安全研究员、M01N战队核心成员祝荣吉,图源腾讯安全官方微信公众号

云起无垠模型安全研究负责人、知攻善防实验室核心成员刘洋也进一步提到,随着AI应用场景越来越多落地,新型的安全风险也在加速暴露出来。

像ChatGPT的“奶奶漏洞”、AI架设到前端小程序以及App过程中潜在的API泄露风险、AI编辑器使用过程中,源代码上传途中的代码被“截胡”、中间人攻击等风险、文件上传到AI应用过程中的漏洞等。

除此之外,基于函数调用的大模型越狱攻击等等安全风险,也在持续暴露出来。

2、新态势下的网安建设:“以模治模”,用AI对抗AI

上述态势下,摆在产业界的一个关键在于:

在卷大模型技术、卷应用之外,也要卷安全。

腾讯云主办的这次研讨会上,一直活跃在网安攻防实战一线的嘉宾们,也重点分享了他们在现阶段,通过引入AI大模型技术和能力,强化网安建设的思考和建设经验。

京东蓝军-白鵺攻防实验室的安全研究员Knight认为,大模型安全需要系统性方法来解决,模型侧与系统侧的紧密合作至关重要。基于ExpAttack框架,其提出了构建“大模型越狱第二大脑”的创新思路,旨在通过大模型技术来解决大模型的安全难题。

京东蓝军-白鵺攻防实验室安全研究院Knight,图源腾讯安全官方微信公众号

具体来看,Knight提出了“大模型越狱的CODE构建法”,通过捕获、结构化、提炼、表达四个环节,构建起了一个能够高效处理知识的“第二大脑”。

据了解,该方法利用向量数据库、图数据库等技术,分层次对大模型越狱相关的论文进行分析、存储,再通过LLOOM for jailbreak算法,对277篇大模型攻击方向的进行聚类,最后再通过存储的数据提取进行基于论文方法的自动化越狱攻击生成。

再比如,针对主流大模型在函数调用参数生成阶段可能存在的漏洞隐患,西安电子科技大学博士、西安智能系统安全重点实验室成员吴子辉提到,该类型的漏洞根源,在于参数生成阶段缺乏安全对齐机制,且系统级强制执行模式绕过模型自主决策。

基于此,其团队提出了参数安全过滤、提示词防御及安全对齐训练三层解决方案,目前相关成果已被顶级会议接收,并触发了Reddit社区新型攻击变种演化。

此外,祝荣吉也提到,在此前的一次攻防实战演习中,其团队在防御系统中融入了三种比较核心的防护机制手段,从应用提示词内容强化、结构强化、流程强化这三个方面,提升了防护效果。

从上述嘉宾们的分享来看,不难发现,面向AI时代的网安建设,如何用AI来对抗AI,正成为一项关键命题。

连线Insight也注意到,目前从产业界来看,“以模治模”也正加速成为新共识。

其中,作为最具代表性的安全厂商之一,腾讯云也在加速布局。

比如,DeepSeek等AI大模型带来应用热潮以及大模型开源潮后,很多企业为了获得更好的响应速度、更高的数据安全性,以及在特定任务上更好的表现等考虑,私有化部署成了很多企业应用大模型的首选方式。

然而,大模型本地化部署过程中,AI工具更容易暴露在公网环境中,引入了潜在的安全隐患。

为了帮助企业及时洞察、应对这些风险,腾讯云安全中心可以依托全面资产扫描、实时漏洞检测、云资源风险检查、体检报告生成这四项体检能力,帮助企业及时发现AI风险,保护自身数据和算力资源,进而保障业务的稳定运行。

暴露面扫描配置示意图,图源腾讯安全官方微信公众号

目前,腾讯云安全中心支持一键同步云上资产,支持添加云外资产,事实/定期对资产进行全端口扫描、服务识别、指纹测绘、漏洞扫描、暴露路径管理(CLB、安全组等配置识别)。

再从整体来看,基于过往多年在自身业务安全建设上的攻防实践经验,腾讯云如今自上而下都构建起了纵深防御体系,沉淀出了一套具备可复制性的、云原生的高安全等级架构,通过服务器硬件安全优化、可信计算技术与供应链安全保证云基础设施安全等多机制,来保障云基础设施一体化安全。

另一方面,在产品维度,腾讯云安全则是整合构建了“4+N”体系,为所有私有云、公有云、混合云等不同形态客户提供全面的产品供给。

长远来看,AI时代的网络安全建设仍然处于探索初期,但在用“AI对抗AI”的新共识下,像腾讯云这样的硬核玩家,正脚踏实地死磕技术,帮助更多客户、中小企业筑牢安全防线。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国总统特朗普表示将于5月中旬访华,外交部:元首外交对中美关系发挥着不可替代的战略引领作用,中美双方就特朗普总统访华事保持着沟通

美国总统特朗普表示将于5月中旬访华,外交部:元首外交对中美关系发挥着不可替代的战略引领作用,中美双方就特朗普总统访华事保持着沟通

潇湘晨报
2026-03-26 16:25:20
已经抵达东莞?曝广东宏远大外援到位,NBA首轮秀,身高2米13

已经抵达东莞?曝广东宏远大外援到位,NBA首轮秀,身高2米13

篮球大陆
2026-03-26 14:01:14
游戏结束,国债突破39万亿,美联储通知全世界,中方分批运回金条

游戏结束,国债突破39万亿,美联储通知全世界,中方分批运回金条

涵豆说娱
2026-03-26 11:46:21
曝张雪峰3段婚姻都是闪婚,前妻缅怀满是惋惜,疯狂健身疑为备孕

曝张雪峰3段婚姻都是闪婚,前妻缅怀满是惋惜,疯狂健身疑为备孕

古希腊掌管松饼的神
2026-03-25 12:00:46
白发“师妃暄”,为何变成“金刚芭比”

白发“师妃暄”,为何变成“金刚芭比”

凹凹滴
2026-03-26 12:52:16
春天,这碱性菜再贵也要多吃,杀菌强免疫,补钙补钾两不误,好吃

春天,这碱性菜再贵也要多吃,杀菌强免疫,补钙补钾两不误,好吃

阿龙美食记
2026-03-25 10:38:40
横店巨变!20万群演困境:美女泛滥懒汉遍地,降薪后路在何方?

横店巨变!20万群演困境:美女泛滥懒汉遍地,降薪后路在何方?

网络易不易
2026-03-25 10:31:12
从欧尔班行为,看北约当年拒绝俄罗斯的远见

从欧尔班行为,看北约当年拒绝俄罗斯的远见

民间胡扯老哥
2026-03-23 18:53:38
神笔警探林宇辉再绘“梅姨”老年画像:她年龄增大,精神也受折磨,面貌应该变化很大

神笔警探林宇辉再绘“梅姨”老年画像:她年龄增大,精神也受折磨,面貌应该变化很大

极目新闻
2026-03-26 11:14:21
地平线员工撕开窗户纸,小鹏智驾成了"皇帝新衣"?

地平线员工撕开窗户纸,小鹏智驾成了"皇帝新衣"?

汽车大事记
2026-03-24 20:48:45
利空突袭,全线杀跌!

利空突袭,全线杀跌!

中国基金报
2026-03-26 13:16:51
日本企业未受邀参加重要论坛?商务部回应

日本企业未受邀参加重要论坛?商务部回应

澎湃新闻
2026-03-26 15:28:26
不可错过!3月26日晚间18:30比赛!中央5套CCTV5、CCTV5+直播表

不可错过!3月26日晚间18:30比赛!中央5套CCTV5、CCTV5+直播表

皮皮观天下
2026-03-26 15:32:21
伊朗重要人事任命,释放强烈信号!

伊朗重要人事任命,释放强烈信号!

斐君观点
2026-03-25 21:08:16
流量退去之后|南京“10元手冲咖啡”阿姨:火过,就很满足

流量退去之后|南京“10元手冲咖啡”阿姨:火过,就很满足

澎湃新闻
2026-03-26 07:06:31
拼了!第80波打击,拒绝停战伊朗越打越狠,美军航母基地集体被揍

拼了!第80波打击,拒绝停战伊朗越打越狠,美军航母基地集体被揍

卷史
2026-03-26 09:34:56
《奔跑吧14》录制:孟子义的腰比名牌还细,和李昀锐同框避嫌

《奔跑吧14》录制:孟子义的腰比名牌还细,和李昀锐同框避嫌

椰黄娱乐
2026-03-26 15:45:32
快讯!美军拒绝为以色列作战!

快讯!美军拒绝为以色列作战!

达文西看世界
2026-03-26 09:54:51
美军合作商CEO急眼,竟狂言“终将破解并瘫痪北斗信号”

美军合作商CEO急眼,竟狂言“终将破解并瘫痪北斗信号”

观察者网
2026-03-25 14:58:54
广州市一栋三层别墅拍卖,被人捡漏170.6万就竞得,还要啥套间

广州市一栋三层别墅拍卖,被人捡漏170.6万就竞得,还要啥套间

天天话事
2026-03-26 09:30:14
2026-03-26 17:59:00
连线Insight incentive-icons
连线Insight
产业升级创新者的聚集地。
1690文章数 1498关注度
往期回顾 全部

科技要闻

Meta高管狂分百亿期权,700名员工却下岗

头条要闻

男子从四家公司贷出共计356万元 实际到手却仅8万多元

头条要闻

男子从四家公司贷出共计356万元 实际到手却仅8万多元

体育要闻

申京努力了,然而杜兰特啊

娱乐要闻

张雪峰家人首发声 不设追思会丧事从简

财经要闻

长护险谁能享受?享受多少?解答来了

汽车要闻

一汽奥迪A6L e-tron开启预售 CLTC最大续航815km

态度原创

家居
健康
游戏
亲子
房产

家居要闻

傍海而居 静观蝴蝶海

转头就晕的耳石症,能开车上班吗?

又一经典最终幻想游戏将停运!开服至今已六年有余

亲子要闻

售卖“增高神药”让孩子“猛长20厘米”?多家店铺被立案调查!

房产要闻

突发,三亚又有大批征迁补偿方案出炉!

无障碍浏览 进入关怀版