网易首页 > 网易号 > 正文 申请入驻

他们说:AI时代的安全问题,要“以模治模”

0
分享至

文/陈锋

编辑/子夜

2025年以来,DeepSeek火爆出圈的连锁反应下,全球范围内,大模型赛道的主流叙事已经悄然生变。

从互联网大厂到初创AI公司,行业一边进入新一轮技术竞赛,另一边,从to C到to B,大模型在应用侧的落地进程也在骤然加速,不少业内人士都将2025年称为AI应用爆发元年。

但像任何一项新技术背后存在的两面性那样,大模型技术火热之下,即将迎来的AI应用爆发潮,也在滋生潜在的网络安全隐患。

比如,根据腾讯云洞察,DeepSeek出圈以来,疑似仿冒DeepSeek的域名呈现爆炸式增长,春节前后,其累计观察到疑似仿冒DeepSeek的网站超过2万个;其还监测到,有大量仿冒站点,通过社交平台引流C端用户,指向虚拟币平台和色情网站。

与此同时,也有部分黑灰产,通过伪造提供DeepSeek本地部署和提供行业解决方案,对企业实施钓鱼攻击。

这种态势下,如何及时洞察到AI时代下最新的网安攻防态势、挖掘出更多的网安风险、探索出当下AI赋能网安建设的思路和路径,变得尤为重要。

连线Insight日前参与了腾讯云安全云鼎实验室主办的一场“模型有界,安全无疆”大模型安全学术沙龙。我们注意到,这次研讨会,就是一个观察AI时代网安攻防新范式、从攻防实践中抽离出网安建设新思路的窗口。

图源腾讯安全官方微信公众号

1、网安攻防新态势:大模型引发新的潜在安全风险

去年年底,福布斯发布的“2025年AI十大预测”中,作者Rob Toews在其中一项预测中提到:

第一起真正的AI安全事故将会发生。

“或许,某个AI模型可能试图悄悄地在另一个服务器上创建自己的副本以确保自身存续;或许,某个AI模型可能会得出结论,为了最好地推进自己被赋予的目标,它需要隐瞒自己能力的真实范围,故意降低性能评估以避开更为严格的审查......”他如此写道。

事实上,当前阶段,大模型能力的快速进化所带来的潜在安全风险,早已不止于大模型自身的“策略性欺骗”“伪装对齐”。

比如针对当下火热的AI智能体,3月13日,美国网络安全公司Symantec通过一项测试指出,AI智能体已突破了传统工具功能限制,可轻松协助黑客发起钓鱼攻击。

此外,OpenAI早在2023年底曝出的“奶奶漏洞”(即用户通过包装话术,可以骗过ChatGPT输出不该输出的内容)、我们上文提到的仿冒DeepSeek域名及网站、不法分子通过深伪技术进行诈骗等,都是网络安全严峻态势的写照。

这背后实则是,一方面,大模型技术的加速迭代,引入了大量全新、复杂的风险与威胁。

Freebuf在《2024全球AI网络安全产品洞察报告》中提到,AI大模型存在的安全风险主要分为三类,分别是训练数据的安全风险、大模型本身的安全风险和外部攻击风险。

具体来看,包括数据泄露及数据投毒等大模型在训练数据中的安全风险、海绵攻击、武器化模型等外部网络攻击与风险等。

与此同时,大模型的两面性也决定了,某种程度上,借助大模型,黑灰产与网络犯罪的攻击门槛也可能会降低。

比如攻击者通过AI大模型高效生成欺诈内容、快速挖掘潜在漏洞并提炼其中的共性缺陷提升攻击效率、基于大模型的逻辑推理和策略规划能力制定更复杂攻击策略、针对已有漏洞向不同目标批量发起攻击。

另一方面,大模型在更多应用、业务场景的落地过程中,网安风险也在加剧。

沙龙上,绿盟天元实验室高级研究员、M01N战队核心成员祝荣吉就总结,未来的大模型安全风险,可以分为两个比较大的方面:

一方面,AI与应用结合过程中,会产生新型风险,比如内容安全风险、提示词对抗风险等;另一方面,AI与传统应用结合过程中,也会把一些传统的安全问题放大,比如由于AI技术的快速迭代,现有AI应用的开发流程、安全建设流程无法完全覆盖相关新型业务组件的引入等。

绿盟天元实验室高级安全研究员、M01N战队核心成员祝荣吉,图源腾讯安全官方微信公众号

云起无垠模型安全研究负责人、知攻善防实验室核心成员刘洋也进一步提到,随着AI应用场景越来越多落地,新型的安全风险也在加速暴露出来。

像ChatGPT的“奶奶漏洞”、AI架设到前端小程序以及App过程中潜在的API泄露风险、AI编辑器使用过程中,源代码上传途中的代码被“截胡”、中间人攻击等风险、文件上传到AI应用过程中的漏洞等。

除此之外,基于函数调用的大模型越狱攻击等等安全风险,也在持续暴露出来。

2、新态势下的网安建设:“以模治模”,用AI对抗AI

上述态势下,摆在产业界的一个关键在于:

在卷大模型技术、卷应用之外,也要卷安全。

腾讯云主办的这次研讨会上,一直活跃在网安攻防实战一线的嘉宾们,也重点分享了他们在现阶段,通过引入AI大模型技术和能力,强化网安建设的思考和建设经验。

京东蓝军-白鵺攻防实验室的安全研究员Knight认为,大模型安全需要系统性方法来解决,模型侧与系统侧的紧密合作至关重要。基于ExpAttack框架,其提出了构建“大模型越狱第二大脑”的创新思路,旨在通过大模型技术来解决大模型的安全难题。

京东蓝军-白鵺攻防实验室安全研究院Knight,图源腾讯安全官方微信公众号

具体来看,Knight提出了“大模型越狱的CODE构建法”,通过捕获、结构化、提炼、表达四个环节,构建起了一个能够高效处理知识的“第二大脑”。

据了解,该方法利用向量数据库、图数据库等技术,分层次对大模型越狱相关的论文进行分析、存储,再通过LLOOM for jailbreak算法,对277篇大模型攻击方向的进行聚类,最后再通过存储的数据提取进行基于论文方法的自动化越狱攻击生成。

再比如,针对主流大模型在函数调用参数生成阶段可能存在的漏洞隐患,西安电子科技大学博士、西安智能系统安全重点实验室成员吴子辉提到,该类型的漏洞根源,在于参数生成阶段缺乏安全对齐机制,且系统级强制执行模式绕过模型自主决策。

基于此,其团队提出了参数安全过滤、提示词防御及安全对齐训练三层解决方案,目前相关成果已被顶级会议接收,并触发了Reddit社区新型攻击变种演化。

此外,祝荣吉也提到,在此前的一次攻防实战演习中,其团队在防御系统中融入了三种比较核心的防护机制手段,从应用提示词内容强化、结构强化、流程强化这三个方面,提升了防护效果。

从上述嘉宾们的分享来看,不难发现,面向AI时代的网安建设,如何用AI来对抗AI,正成为一项关键命题。

连线Insight也注意到,目前从产业界来看,“以模治模”也正加速成为新共识。

其中,作为最具代表性的安全厂商之一,腾讯云也在加速布局。

比如,DeepSeek等AI大模型带来应用热潮以及大模型开源潮后,很多企业为了获得更好的响应速度、更高的数据安全性,以及在特定任务上更好的表现等考虑,私有化部署成了很多企业应用大模型的首选方式。

然而,大模型本地化部署过程中,AI工具更容易暴露在公网环境中,引入了潜在的安全隐患。

为了帮助企业及时洞察、应对这些风险,腾讯云安全中心可以依托全面资产扫描、实时漏洞检测、云资源风险检查、体检报告生成这四项体检能力,帮助企业及时发现AI风险,保护自身数据和算力资源,进而保障业务的稳定运行。

暴露面扫描配置示意图,图源腾讯安全官方微信公众号

目前,腾讯云安全中心支持一键同步云上资产,支持添加云外资产,事实/定期对资产进行全端口扫描、服务识别、指纹测绘、漏洞扫描、暴露路径管理(CLB、安全组等配置识别)。

再从整体来看,基于过往多年在自身业务安全建设上的攻防实践经验,腾讯云如今自上而下都构建起了纵深防御体系,沉淀出了一套具备可复制性的、云原生的高安全等级架构,通过服务器硬件安全优化、可信计算技术与供应链安全保证云基础设施安全等多机制,来保障云基础设施一体化安全。

另一方面,在产品维度,腾讯云安全则是整合构建了“4+N”体系,为所有私有云、公有云、混合云等不同形态客户提供全面的产品供给。

长远来看,AI时代的网络安全建设仍然处于探索初期,但在用“AI对抗AI”的新共识下,像腾讯云这样的硬核玩家,正脚踏实地死磕技术,帮助更多客户、中小企业筑牢安全防线。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
天津一女高中生疑被男同学偷拍私密视频并传播致遭霸凌抑郁,学校:对当事男生作出开除学籍和留校察看处分;警方已行政立案

天津一女高中生疑被男同学偷拍私密视频并传播致遭霸凌抑郁,学校:对当事男生作出开除学籍和留校察看处分;警方已行政立案

大象新闻
2026-05-14 20:46:15
随着中国女足2-4朝鲜,球迷认清5个事实,我们已经完成任务了

随着中国女足2-4朝鲜,球迷认清5个事实,我们已经完成任务了

宝哥精彩赛事
2026-05-15 01:26:32
36岁哈登太狠了,又达成80年NBA独一无二纪录,要2年8000万不过分

36岁哈登太狠了,又达成80年NBA独一无二纪录,要2年8000万不过分

大西体育
2026-05-14 20:29:11
2025就业率排名出炉:计算机跌出前五,榜一断层领先,工科霸榜

2025就业率排名出炉:计算机跌出前五,榜一断层领先,工科霸榜

狐狸先森讲升学规划
2026-05-12 09:20:03
中行将关停独立信用卡App,系国有大行首例

中行将关停独立信用卡App,系国有大行首例

看看新闻Knews
2026-05-14 22:28:06
没想到,勇夺世乒赛冠军的王楚钦,竟在生日当天传来两大好消息

没想到,勇夺世乒赛冠军的王楚钦,竟在生日当天传来两大好消息

调侃国际观点
2026-05-15 01:37:22
股价一个月翻倍,金螳螂员工持股三天全卖光

股价一个月翻倍,金螳螂员工持股三天全卖光

达摩财经
2026-05-14 22:45:50
伊朗队正式发布世界杯球衣:豹子暗纹,由本国品牌赞助

伊朗队正式发布世界杯球衣:豹子暗纹,由本国品牌赞助

懂球帝
2026-05-15 00:09:05
鹿晗纯黑寸头炸上热搜!刷新出道最短纪录,五哈路透帅出新高度

鹿晗纯黑寸头炸上热搜!刷新出道最短纪录,五哈路透帅出新高度

橙星文娱
2026-05-14 20:09:57
一家长称儿子早恋被叫学校,想开宝马镇住对方家长,评论玩梗笑死

一家长称儿子早恋被叫学校,想开宝马镇住对方家长,评论玩梗笑死

观察鉴娱
2026-05-13 11:22:56
中美谈妥,贝森特握紧中方的手,新的情况发生,外资加仓中国资产

中美谈妥,贝森特握紧中方的手,新的情况发生,外资加仓中国资产

亿通电子游戏
2026-05-14 18:38:17
两岸突发一件事,大陆已下达禁令,话音刚落,郑丽文火速派人赴京

两岸突发一件事,大陆已下达禁令,话音刚落,郑丽文火速派人赴京

你是我的一个梦
2026-05-15 01:47:34
湖人更衣室风波:詹姆斯与东契奇不和传闻遭多方否认

湖人更衣室风波:詹姆斯与东契奇不和传闻遭多方否认

林间小温柔
2026-05-15 01:46:26
74岁布丽吉特:为了马克龙,整容扮嫩撑了9年,如今终于可以解脱

74岁布丽吉特:为了马克龙,整容扮嫩撑了9年,如今终于可以解脱

毒舌小红帽
2026-05-14 16:09:46
英伟达H200获批卖10家中国公司,但货能不能到还得看中方脸色

英伟达H200获批卖10家中国公司,但货能不能到还得看中方脸色

别打我我投降
2026-05-14 18:51:05
傅园慧被特聘为“浙江省校园反诈宣传形象大使”,称自己有“接电话恐惧症”,曾接到机票改签诈骗电话,险些被骗

傅园慧被特聘为“浙江省校园反诈宣传形象大使”,称自己有“接电话恐惧症”,曾接到机票改签诈骗电话,险些被骗

环球网资讯
2026-05-13 19:13:14
AI预测世界杯小组赛结果:英阿法德西葡荷均晋级,巴西、摩洛哥同分

AI预测世界杯小组赛结果:英阿法德西葡荷均晋级,巴西、摩洛哥同分

懂球帝
2026-05-14 19:00:47
马斯克带着儿子现身人民大会堂,拍照时还扛在肩上,也太宠孩子啦

马斯克带着儿子现身人民大会堂,拍照时还扛在肩上,也太宠孩子啦

八八尚语
2026-05-14 23:07:33
603773,实控人被立案

603773,实控人被立案

中国基金报
2026-05-14 21:33:15
多地村镇理发店被起诉商标侵权 “标榜”“东尼”商标使用权为何到了一家英国公司之手|红星调查

多地村镇理发店被起诉商标侵权 “标榜”“东尼”商标使用权为何到了一家英国公司之手|红星调查

红星新闻
2026-05-14 18:01:16
2026-05-15 06:32:49
连线Insight incentive-icons
连线Insight
产业升级创新者的聚集地。
1735文章数 1502关注度
往期回顾 全部

科技要闻

马斯克说会谈很顺利 黄仁勋点赞 库克比耶

头条要闻

马斯克幼子装扮“火”了 衣服包包都是中国造

头条要闻

马斯克幼子装扮“火”了 衣服包包都是中国造

体育要闻

争议抽象天王山,和季后赛最稳定中锋

娱乐要闻

何九华官宣当爸!全程不提孩子妈

财经要闻

李强会见美国工商界代表

汽车要闻

双零重力座椅/AI智能体/调光天幕 启境GT7内饰发布

态度原创

亲子
本地
游戏
艺术
公开课

亲子要闻

孤独症特教老师的工作,远不止“教说话”!(下)

本地新闻

用苏绣的方式,打开江西婺源

《极限竞速地平线6》画面对比 最佳游玩平台在PC

艺术要闻

花园里,花丛中

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版