![]()
核心观点:
AI安全威胁并非逐年新增单一类型,而是早期技术持续迭代、新型攻击不断涌现、多类型攻击融合叠加的动态过程,整体呈现持续复杂化趋势。
2024年中国网络安全IT总支出规模为112亿美元,其中AI安全相关支出约为18亿美元,占中国网络安全总支出的16%,渗透率高于全球平均水平(13%)。
中国AI安全投入呈现明显的行业集中特征,金融、制造业、服务业成为三大核心投入领域,分别占比29%、22%、19%。
应用落地层面,AI安全已深度融入网络运营与网络危险检测两大核心领域。在网络运营中,通过告警降噪、攻击研判、自动响应与处置、报告自动生成等应用,大幅提升安全运营的自动化与智能化水平,解决传统安全运营误报率高、效率低下等问题;在网络危险检测中,AI防火墙、恶意代码检测、攻击流量检测、用户和实体行为分析(UEBA)等应用,从多维度提升威胁检测的效率与准确性,构建起更全面的网络安全防护体系。
![]()
近年来,生成式AI快速发展,逐步与传统行业深度融合,成为了推动新质生产力高质量发展的重要引擎,但不可忽视的是AI的安全风险逐步呈现。AI安全威胁并非逐年新增单一类型,而是早期技术持续迭代、新型攻击不断涌现、多类型攻击融合叠加的动态过程,整体呈现持续复杂化趋势。
(1)定义及发展历程
AI安全风险主要是基础设施、数据、模型及应用系统(软件)的安全风险,即内生安全风险;以及在落地应用过程中的安全风险,即衍生安全风险。从广义上,它还包括由政策法规、经济形势、文化理念等变化,对基础设施、技术发展、产业应用等造成的影响。
图表1 技术视角下的AI安全风险概述
![]()
信息来源:中国信息通信研究院
AI安全行业的发展整体可分为四个阶段:
第一阶段:2010年前。AI技术处于初级阶段,以传统机器学习、浅层神经网络为主,应用场景有限(主要集中在实验室、简单数据处理),AI自身安全风险未凸显,行业未形成明确的AI安全概念,防护工作多融入传统网络安全,无专门的AI安全技术、产品和企业,相关研究以学术探索为主,未形成规模化产业形态。
第二阶段:2010-2018年。深度学习技术崛起,AI技术逐步应用于互联网、金融等领域,AI安全风险初步显现(主要是数据泄露、简单模型攻击),部分科技企业开始关注AI安全问题,开展针对性技术研发,行业逐步形成初步的技术框架,但产品形态单一(以数据脱敏、简单模型检测为主),专门性AI安全监管政策处于空白阶段,行业集中度极低,以中小企业和学术机构探索为主。
第三阶段:2019-2023年。生成式AI技术快速迭代,AI应用场景全面渗透,AI安全风险集中爆发(模型投毒、深度造假、数据泄露、AI辅助攻击等),各国密集出台AI安全相关政策,明确监管要求,谷歌、微软、OpenAI等企业加大研发投入,推出多元化AI安全产品,行业形成明确的产业链分工,中小企业快速崛起,市场规模持续攀升,AI安全从“被动应对”转向“主动防护”,合规成为行业发展的核心导向。
第四阶段:2024年至今。AI安全政策逐步落地实施,行业标准逐步完善,AI安全与各行业场景深度融合,细分场景安全需求凸显(政务AI安全、金融AI安全等),技术研发向“智能化、一体化、全生命周期全链路防护”升级,产业链上下游协同加强,头部企业凭借技术、资金优势占据主导地位,行业集中度逐步提升,同时智能对抗攻击、组合式复杂攻击等新型威胁出现,推动行业持续迭代升级,全球AI治理持续深化合作,形成“政策监管、技术防护、产业协同”的多元发展格局。
图表2 AI安全发展历程
![]()
信息来源:融中研究
(3)行业现状分析
1)政策环境
我国高度重视AI安全和AI滥用情况,为促进AI产业良性发展,有关部门针对利用AI算法从事传播违法和不良信息、侵害用户权益、操纵社会舆论等问题,推出一些政策法规进行引导。通过加强安全管理,推进算法推荐技术和深度合成技术依法合理有效利用,以此来保障AI产业相关技术产品的良性创新和有序发展。
图表3 AI安全政策情况
![]()
信息来源:融中研究
2)AI风险类型
AI安全风险真实的存在于现今各种AI应用中。例如攻击者通过修改恶意文件绕开恶意文件检测或恶意流量检测等基于AI的检测工具;加入简单的噪音,致使家中的语音控制系统成功调用恶意应用;刻意修改终端回传的数据或刻意与聊天机器人进行某些恶意对话,导致后端AI系统预测错误;在交通指示牌或其他车辆上贴上或涂上一些小标记,致使自动驾驶车辆的判断错误。
风险存在的根本原因是AI算法设计之初普遍未考虑相关的安全威胁,使得AI算法的判断结果容易被恶意攻击者影响,导致AI系统判断失准。如果AI系统被恶意攻击,轻则造成财产损失,重则威胁人身安全。
综合来看,AI系统在设计上面临五大安全挑战:
软硬件的安全:在软件及硬件层面,包括应用、模型、平台和芯片,编码都可能存在漏洞或后门;攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上,攻击者同样可能在模型中植入后门并实施高级攻击;由于AI模型的不可解释性,在模型中植入的恶意后门难以被检测。
数据完整性:在数据层面,攻击者能够在训练阶段掺入恶意数据,影响AI模型推理能力;攻击者同样可以在判断阶段对要判断的样本加入少量噪音,刻意改变判断结果。
模型保密性:在模型参数层面,服务提供者往往只希望提供模型查询服务,而不希望曝露自己训练的模型;但通过多次查询,攻击者能够构建出一个相似的模型,进而获得模型的相关信息。
模型鲁棒性:训练模型时的样本往往覆盖性不足,使得模型鲁棒性不强;模型面对恶意样本时,无法给出正确的判断结果。
数据隐私:在用户提供训练数据的场景下,攻击者能够通过反复查询训练好的模型获得用户的隐私信息。
图表4 鲁棒性精确分析方法路径
![]()
信息来源:计算机学报、融中研究
3)典型攻击方式
一是闪避攻击。
闪避攻击是指通过修改输入,让AI模型无法对其正确识别。闪避攻击是学术界研究最多的一类攻击,下面是学术界提出的最具代表性的三种闪避攻击:
对抗样本的提出:研究表明深度学习系统容易受到精心设计的输入样本的影响。这些输入样本就是学术界定义的对抗样例或样本,即Adversarial Examples。它们通常是在正常样本上加入人眼难以察觉的微小扰动,可以很容易地愚弄正常的深度学习模型。微小扰动是对抗样本的基本前提,在原始样本处加入人类不易察觉的微小扰动会导致深度学习模型的性能下降。Szegedy等人在2013年最早提出了对抗样本的概念。在其之后,学者相继提出了其他产生对抗样本的方法,其中Carlini等人提出的CW攻击可以在扰动很小的条件下达到100%的攻击成功率,并且能成功绕过大部分对抗样本的防御机制。
物理世界的攻击:除了对数字的图片文件加扰,Eykholt等人对路标实体做涂改,使AI路标识别算法将“禁止通行”的路标识别成为“限速45”。它与数字世界对抗样本的区别是,物理世界的扰动需要抵抗缩放,裁剪,旋转,噪点等图像变换。
传递性与黑盒攻击:生成对抗样本需要知道AI模型参数,但是在某些场景下攻击者无法得到模型参数。Papernot等人发现对一个模型生成的对抗样本也能欺骗另一个模型,只要两个模型的训练数据是一样的。这种传递性(Transferability)可以用来发起黑盒攻击,即攻击者不知道AI模型参数。其攻击方法是,攻击者先对要攻击的模型进行多次查询,然后用查询结果来训练一个“替代模型”,最后攻击者用替代模型来产生对抗样本。产生出来的对抗样本可以成功欺骗原模型。
图表5 对抗攻击框架
![]()
信息来源:CSDN、融中咨询
二是药饵攻击。
AI系统通常用运行期间收集的新数据进行重训练,以适应数据分布的变化。 例如,入侵检测系统(IDS)持续在网络上收集样本,并重新训练来检测新的攻击。在这种情况下,攻击者可能通过注入精心设计的样本,即药饵,来使训练数据中毒(被污染),最终危及整个AI系统的正常功能,例如逃逸AI的安全分类等。深度学习的特点是需要大量训练样本,所以样本质量很难完全保证。
Jagielski等人发现,可以在训练样本中掺杂少量的恶意样本,就能很大程度干扰AI模型准确率。他们提出最优坡度攻击、全局最优攻击、统计优化攻击三种药饵攻击。并展示了这些药饵攻击对于健康数据库,借贷数据库跟房价数据库的攻击,影响这些AI模型对新样本的判断。通过加入药饵数据影响对用药量的分析、对贷款量/利息的分析判断、对房子售价的判断。通过加入8%的恶意数据,攻击者能够使模型对超过50%的患者的用药量建议时,出现超过75%的变化量。
图表6 药饵攻击流程图
![]()
信息来源:AI安全标准化白皮书、融中研究
三是后门攻击。
与传统程序相同,AI模型也可以被嵌入后门。只有制造后门的人知道如何触发,其他人无法知道后门的存在,也无法触发。与传统程序不同的是,神经网络模型仅由一组参数构成,没有源代码可以被人读懂,所以后门的隐蔽性更高。攻击者通过在神经网络模型中植入特定的神经元生成带有后门的模型,使得模型虽然对正常输入与原模型判断一致,但对特殊输入的判断会受攻击者控制。如Gu等人提出一种在AI模型中嵌入后门的方法,只有输入图像中包含特定图案才能触发后门,而其他人很难通过分析模型知道这个图案或这个后面的存在。此类攻击多发生在模型的生成或传输过程。
图表7 深度学习模型后门攻击示意图
![]()
信息来源:生成式大模型安全隐私白皮书、融中研究
四是模型窃取攻击。
模型/训练数据窃取攻击是指攻击者通过查询,分析系统的输入输出和其他外部信息,推测系统模型的参数及训练数据信息。与Software-as-a-Service类似,云服务商提出了AI-as-a-Service(AIaaS)的概念,即由AI服务提供商负责模型训练和识别等服务。这些服务对外开放,用户可以用其开放的接口进行图像,语音识别等操作。Tramèr等学者提出一种攻击,通过多次调用AIaaS的识别接口,从而把AI模型“窃取”出来。这会带来两个问题:一是知识产权的窃取。样本收集和模型训练需要耗费很大资源,训练出来的模型是重要的知识产权。二是前文提到的黑盒闪避攻击。攻击者可以通过窃取的模型构造对抗样本。
图表8 模型窃取攻击示意图
![]()
信息来源:IEEE International Conference on Data Engineering、融中研究
4)防御措施
AI系统部署到业务场景中所需要三个层次的防御手段:攻防安全、模型安全和架构安全。
攻防安全:针对已知攻击,设计有针对性的防御机制保护AI系统安全。目前主流的几种攻击方法包括闪避攻击、药饵攻击、后门攻击和模型/数据窃取攻击。针对这些攻击对应的防御技术包括对抗训练、网络蒸馏、对抗样本检测、DNN模型验证、训练数据过滤、集成分析、模型剪枝、隐私聚合教师模型等防御技术
模型安全:应增强AI模型本身的安全性,避免其它可能的攻击方式造成的危害。关键技术包括模型可检测性、模型可验证性和模型可解释性。
架构安全:在业务中使用AI模型,需要结合具体业务自身特点和架构,分析判断AI模型使用风险,综合利用隔离、检测、熔断和冗余等安全机制设计AI安全架构。
图表9 AI安全防御架构
![]()
信息来源:华为AI安全、融中研究
5)防御技术
已知的攻击方式,学术界已有许多对抗方法,对于可能遭受的攻击能提供不同程度的缓解,AI系统在数据收集、模型训练及模型使用阶段的各种防御技术。
网络蒸馏(Network Distillation)
网络蒸馏技术的基本原理是在模型训练阶段,对多个DNN进行串联,其中前一个DNN生成的分类结果被用于训练后一个DNN。有学者[8]发现转移知识可以一定程度上降低模型对微小扰动的敏感度,提高AI模型的鲁棒性,于是提出将网络蒸馏技术用于防御闪避攻击,并在MNIST和CIFAR-10数据集上测试,发现该技术可将使特定攻击(如JSMA)的成功率降低。
对抗训练(Adversarial Training)
该技术的基本原理是在模型训练阶段,使用已知的各种攻击方法生成对抗样本,再将对抗样本加入模型的训练集中,对模型进行单次或多次重训练,生成可以抵抗攻击扰动的新模型。同时,由于综合多个类型的对抗样本使得训练集数据的增多,该技术不但可以增强新生成模型的鲁棒性,还可以增强模型的准确率和规范性。
DNN模型验证(DNN Verification)
类似软件验证分析技术,DNN模型验证技术使用求解器(solver)来验证DNN模型的各种属性,如验证在特定扰动范围内没有对抗样本。但是通常验证DNN模型是NP完全问题,求解器的效率较低。通过取舍和优化,如对模型节点验证的优先度选择、分享验证信息、按区域验证等,可以进一步提高 DNN模型验证运行效率。
回归分析(Regression Analysis)
该技术基于统计学方法,检测数据集中的噪声和异常值。具体方法包括对模型定义不同的损失函数(loss function)来检查异常值,以及使用数据的分布特性来进行检测。
模型剪枝(Model Pruning)
该技术原理为适当剪除原模型的神经元,在保证正常功能一致的情况下,减少后门神经元起作用的可能性。利用细粒度的剪枝方法[12],可以去除组成后门的神经元,防御后门攻击。
图表10 AI安全防御技术
![]()
信息来源:华为AI安全、融中研究
(4)市场规模及竞争格局
1)行业市场规模
IDC报告显示,2024年中国网络安全IT总支出规模为112亿美元,其中AI安全相关支出约为18亿美元,占中国网络安全总支出的16%,渗透率高于全球平均水平(13%),反映出中国市场对AI安全的重视程度较高。从增长预期来看,2024-2029年中国AI安全市场将保持与全球同步的高速增长节奏,预计2029年市场规模将达到52亿美元,五年复合增长率(CAGR)达23.4%,远超同期中国网络安全整体市场9.7%的CAGR,增速优势显著,体现出中国AI安全市场的强劲增长动能。
图表11 中国AI安全市场规模
![]()
信息来源:IDC、融中研究整理
从市场结构来看,中国AI安全支出的细分分布与全球略有差异,更侧重合规驱动下的安全建设:生成式AI安全占比最高,达48%,高于全球平均水平,核心原因在于国内生成式AI应用普及速度快,且合规监管对内容安全、数据安全的要求严格;数据安全相关支出占比25%,紧密贴合《网络安全法》《数据安全法》《个人信息保护法》等法律法规的合规要求;AI治理合规占比17%,主要投向AI应用合规评估、伦理审查等相关服务,其余支出分布在模型安全、智能威胁响应等领域。
从重点行业来看,据国内行业调研数据补充,中国AI安全投入呈现明显的行业集中特征,金融、制造业、服务业成为三大核心投入领域:金融行业占比29%,作为信息密集型、强监管行业,金融机构在AI大模型落地过程中,对数据质量、合规安全的要求极高;此外,制造业占比22%,服务业占比19%。结合2024-2029年中国AI安全市场23.4%的CAGR,中国AI安全市场将持续高速增长,进一步印证中国AI安全市场的广阔成长空间。
图表12 行业分布
![]()
信息来源:Zscaler、融中研究
2)竞争格局
从竞争路径来看,行业呈现“自研 + 生态合作”双轮驱动的格局:
自研路线:启明星辰发布“PanguBot(盘古小古)”安全智慧生命体,实现安全分析处置自动化;奇安信利用ChatGPT相关技术训练安全模型,覆盖产品开发、威胁检测等场景;绿盟科技自主研发SecXOps安全智能分析平台,提升安全分析的自动化与智能化水平。
生态合作:深信服成为百度文心一言首批生态合作伙伴,拓展AI应用场景;拓尔思与腾讯云签署战略合作,在云计算、大数据、Web3.0等领域构建产业生态。
从技术落地来看,厂商普遍将AI能力与核心安全业务深度融合:天融信将AI融入下一代防火墙,主动发现未知威胁;电科网安依托AI技术实现数据分级分类、敏感数据识别等产业化应用;美亚柏科聚焦公共安全大数据与电子取证,布局AIGC内容检测、AI生成文本检测等方向;太极股份则将自然语言处理、机器学习等技术应用于政务服务、应急管理等领域。
整体而言,行业竞争焦点已从传统安全产品转向AI赋能的安全能力,自动化运营、智能检测、国产化适配、合规性成为核心竞争力。未来,随着大模型技术的成熟与应用场景的拓展,具备技术自研+生态构建+场景落地综合能力的厂商将在竞争中占据优势,推动网络安全行业向更高效、智能的方向升级。
图表13 企业分析
![]()
信息来源:华创证券、融中研究
(5)产业链图谱
图表14 AI安全产业链图谱
![]()
信息来源:云安全联盟
AI安全针对生成式大模型提供训练样本、算法模型、运行环境安全评测,基于生成式大模型的‘深黑盒’技术特性,依托智能博弈对抗技术,通过多维度联动体系生成对抗样本,提供全方位的AIGC安全性、泛化性、鲁棒性(稳健性)评测,涵盖理论分析、开发测试、硬件优化、防御增强、性能验证全链路,可服务于教育、能源、电力、金融等领域的大规模复杂业务场景。
图表15 AI安全平台
![]()
信息来源:赛宁AI、融中研究整理
![]()
(1)AI安全在网络运营中的应用
在AI出现之前,传统的网络安全主要依赖于基于签名的检测系统。这些系统通过将传入的流量与已知威胁或恶意代码签名的数据库进行比较来工作。当找到匹配项时,系统会触发警报并采取行动来阻止或隔离威胁。虽然这种方法对已知威胁有效,但对新的和未知的威胁则不足够。
AI大模型在网络安全运营中的产业实践,尤其是在告警降噪、攻击研判、自动响应与处置方面,展现出了显著的优势和潜力。安全运营是安全行业最需要 AI深度改造的环节,传统安全设备是第三方的,多且杂,数据混乱,导致误报率高,变成了真实风险看不到,出现威胁防不了;安全运营工作压力较大,且绝大多数非真实威胁,效率低下。
图表16 AI 提升安全运营的自动化程度
![]()
信息来源:东北证券、融中研究
1)告警降噪
智能告警过滤与分类:传统的安全运营中心常常面临大量告警信息,其中许多是误报或低优先级事件。AI大模型通过学习历史数据,能有效识别并过滤掉这些无关紧要的告警,仅将真正需要关注的高风险事件呈现给安全分析师,极大地减少了噪音,提高了响应的针对性。
上下文关联分析:大模型能够分析告警之间的关联性,结合时间序列、用户行为、网络流量等多种因素,为告警提供更丰富的上下文信息,有助于快速判断告警的真实性和严重程度。
图表17 告警降噪示意图
![]()
信息来源:阿里云、融中研究
2)攻击研判
复杂攻击模式识别:借助深度学习算法,AI大模型能够从海量数据中挖掘出隐藏的复杂攻击模式,尤其针对零日攻击、高级持续性威胁(APT)等传统规则引擎难以捕捉的隐蔽威胁,显著提升了攻击研判的精准度与深度。
自动化威胁狩猎:在大模型的驱动下,威胁狩猎能力实现了向自动化的跃升:其无需依赖预设规则,而是通过智能模式识别在大规模数据中自主搜寻潜在恶意活动的蛛丝马迹,从而大幅缩短威胁发现周期,为主动防御争取了关键时间窗口。
图表18 攻击研判的6个步骤
![]()
信息来源:青藤云安全、融中研究
3)自动响应与处置
自动化剧本执行:依托 AI 智能决策,大模型能够自动触发预设的安全响应剧本,快速执行一系列标准化操作,如隔离受感染设备、关闭高危端口、发送告警邮件等,以最短时间阻断安全事件的扩散路径,将潜在损失降至最低。
自适应安全策略调整:基于实时威胁分析结果,大模型具备动态优化安全控制策略的能力。面对不同风险态势,它可灵活调整防护方案,如强化特定区域的监测密度,或临时限制高风险服务访问权限,构建起动态、自适应的防御体系。
交互式辅助决策:在复杂安全事件处置过程中,大模型能够为安全团队提供智能决策支持。通过深度分析生成可视化事件报告,并基于历史案例与实时数据,输出针对性的处置建议,帮助安全分析师快速定位问题根源,制定更精准的应对策略。
AI 大模型已深度融入网络安全运营核心环节。凭借高效的告警处理能力、精准的攻击识别技术与自动化响应机制,显著提升了企业网络安全防御的智能化水平。
图表19 网络检测与响应
![]()
信息来源:中睿天下、融中研究
4)报告的自动生成
在安全运营工作中需要生成各种各样的安全报告,是较为繁重的工作量,AI大模型的文本生成能力在报告的书写方面可以提供大力的帮助,可以高效、优质地生成网络安全需要的各种报告
(2)AI安全在网络危险检测中的应用
AI在网络安全威胁检测产品的应用从多个维度提升了检测的效率和准确性,具体到恶意文件检测、攻击流量检测、用户和实体行为分析(UEBA)、以及加密流量分析这几方面。
1)AI防火墙
AI防火墙引领边界防护进入一体化智能时代。新华三集团发布的《AI防火墙技术白皮书》指出,作为结合AI的新一代防火墙,AI防火墙可以实现本地与云端结合,提供一体化的智能网络空间安全边界防护,将会是下一代防火墙(NGFW)的演进方向。AI防火墙是基于AI硬件加速检测分析引擎的新一代防火墙,即具有AI芯片,可通过本地及云端大数据进行训练及建模,为未知威胁、未知用户行为及未知应用行为提供安全策略推荐,本地可对用户、应用及威胁进行检测与分析,具有全面高级威胁检测分析能力,能够应对各类复杂高效的高级网络攻击威胁。
基于AI的防火墙技术的核心是机器学习和深度学习。机器学习是利用算法在数据中寻找规律,并自动识别复杂的模式,从而使线性的防火墙更加智能化。而深度学习是机器学习的更高级形式,它是利用神经网络训练来识别异常流量,并实现实时监测和预测。
基于AI的防火墙技术相较于传统的防火墙技术有着显著的优势。传统的防火墙会制定基于规则的防御策略,并应用于数据包过滤。而基于AI的防火墙借助机器学习、深度学习等技术自主识别威胁,这些威胁来自多个层面,包括内部的威胁、外部的威胁和恶意攻击行为,识别率比人工处理更高。
图表20 AI防火墙
![]()
信息来源:东北证券、融中研究
2)恶意代码检测
在恶意代码检测领域,AI(尤其是深度学习与机器学习算法)正扮演着核心角色。这类技术通过解析文件的静态特征(例如二进制代码结构)与动态行为(如运行时操作序列),能够从已知恶意软件的历史数据中学习其潜在模式,并以此为基础精准识别新型、未知的恶意文件。
AI具备快速适配恶意软件变种的能力,这使其在零日攻击检测中展现出显著优势。通过持续的模型训练与迭代优化,系统对恶意文件的识别准确率得以不断提升,同时有效降低了误报与漏报的概率,为网络安全防护提供了更可靠的技术支撑。随着大模型的兴起,业界也在尝试采用大模型来进行恶意文件的检测,比如华清未央公司所发明的MLM大模型(机器语言大模型),就可以用来进行恶意代码的检测。
图表21 恶意软件检测流程
![]()
信息来源:中国科学院信息工程研究所、融中咨询
3)攻击流量检测
在攻击流量检测场景中,AI与机器学习技术凭借对网络流量的实时分析能力,能够精准识别与网络攻击高度相关的异常数据包及通信模式。这类AI模型可高效处理海量数据流,通过学习正常网络行为的复杂特征构建基线,进而敏锐捕捉偏离常态的流量形态——例如分布式拒绝服务(DDoS)攻击、恶意端口扫描、数据泄露尝试等典型威胁行为。借助实时分析与动态模式匹配机制,AI系统能够即时触发警报并联动防御策略,形成从识别到响应的闭环防护,为网络安全构筑起实时有效的屏障。
图表22 DDoS攻击本地防护实验测试环境
![]()
信息来源:中国银行信息科技运营中心、融中咨询
4)用户和实体行为分析(UEBA)
在用户与实体行为分析(UEBA)领域,AI技术尤其是无监督学习算法通过解析用户及系统实体的行为模式,实现对异常行为的精准识别。其核心逻辑在于:AI系统通过持续学习个体用户的历史活动特征(如登录时段分布、访问权限调用习惯、数据交互量等),为每个对象构建专属的正常行为基线。一旦监测到偏离基线的行为(例如非授权权限滥用、异常时段登录、批量数据导出等),系统会将其标记为潜在安全威胁,这对于发现内部恶意操作、账号被盗用等隐蔽风险尤为有效。
这种基于行为基线的动态分析方法,能够突破传统规则防御的局限,在攻击行为造成实质危害前发出预警,显著提升网络安全态势的感知精度与响应时效。
图表23 用户和实体行为分析
![]()
信息来源:盛华安、融中咨询
(3)企业
1)深信服
深信服科技股份有限公司成立于2000年,现已发展成为国内网络安全领域具有一定核心竞争力和市场地位的领军企业之一。目前公司员工规模超过8000名,在全球设有70余个分支机构,服务超过10万家企业级用户。
根据国际数据公司IDC研究报告,公司VPN产品自2008年至2024年,连续17年稳居国内虚拟专用网市场占有率第一。全网行为管理、VPN、下一代防火墙、广域网优化、应用交付等5款网络安全核心产品连续多年入围Gartner国际魔力象限。
公司于国内率先推出深信服自研大模型—安全GPT。继2023年公司发布自研安全大模型“安全GPT”之后,公司2024年相继发布了安全GPT3.0钓鱼攻击检测大模型以及4.0数据安全大模型两个升级版本,有效提升用户钓鱼攻击检测能力及数据安全防护水平。安全GPT是公司利用多年安全领域AI研发积累的高质量数据、算力、人才优势,基于多款开源基础大模型训练得到的垂直领域大模型。用户利用自然语言与安全GPT进行交互,可快速进行安全态势研判、攻击分析溯源、影响面调查、漏洞分析管理等安全运营操作,并显著提升高混淆攻击的识别研判能力,提升安全运营效率,提升面对攻击威胁的发现和响应速度,同时降低安全运营人员能力要求。公司计划将安全GPT技术首先应用赋能于XDR平台并逐步扩展到其他核心安全产品。
图表24 安全GPT模型
![]()
信息来源:深信服、融中研究
2)启明星辰
启明星辰信息技术集团股份有限公司成立于1996年,先后完成对网御星云、合众数据、书生电子、赛博兴安进行了全资收购,是网络安全产业中主力经典产业板块的领军企业、新兴前沿产业板块的引领企业以及可持续健康业务模式和健康产业生态的支柱企业。
在“AI+安全运营”方面,公司打造了“安星人工智能运营系统”。其全面提升数据分析、告警降噪、风险识别、事件响应等安全运营工作的智能化水平,已获得信通院的安全大模型基础网络安全能力评估认证,并成功应用于政府、运营商、企业等行业场景中。在“AI+威胁检测”方面,公司将安星智能体与XDR系统深度融合,通过智能调度各类检测和分析工具集,自主生成检测规则、专杀工具、欺骗诱捕等动态防御策略,大幅提高威胁检测、威胁分析和威胁防御的效能。在“AI+威胁情报”方面,研发了“安星威胁情报智能体”,全生命周期赋能威胁情报的生产识别、分析判定、推理应用,大幅提高了数据处理的效率和准确性,增强了情报的可解释性和操作性。此外,在AI+数据安全、AI+终端安全等方面,公司也正在积极推进安全大模型及安星智能体的应用研发工作,将带来数据识别与分类分级、数据安全合规检查及评估能力、主机风险智能感知与失陷主机自动分析溯源能力等方面的显著提升。
图表25 启明星辰安星智能体
![]()
信息来源:启明星辰、融中研究
3)奇安信
奇安信科技集团股份有限公司成立于2014年,专注于网络空间安全市场,专业从事企业级网络安全、云计算、物联网、工业互联网及信创安全相关产品与服务等。目前公司员工规模超过7000名,在全球设有60余个分支机构,覆盖超98%政府部门、央企和大型银行。
公司创新发布了安全大模型应用产品QAX-GPT安全机器人。其能够协助真人安全专家为客户提供7×24小时自动实时网络威胁分析,对海量告警进行智能研判及溯源,帮助其快速甄选出需响应处置的有效告警,破局“告警疲劳”难题,显著降低漏报和误报概率,极大地提升安全运营效率,减少安全事件发生。同时还创新发布了AISOC智能安全运营机器人,以安全大模型和大数据关联引擎为双擎驱动,实现从AI化数据采集、到 AI智能研判、AI智能关联、AI事件调查、AI智能处置、AI剧本编排、AI智能报告、AI内生情报、AI智能问答等应用创新,完成了安全运营全流程的AI赋能与重构。
图表26 QAX-GPT终端安全平台
![]()
信息来源:奇安信、融中研究
![]()
(1)行业趋势
AI与千行百业的融合深度持续提升,尤其是生成式AI、AI智能体、多模态技术的规模化应用,推动AI安全从“附加防护”向“核心刚需”转变。未来3-5年,AI安全行业将迎来场景扩容、技术革新与生态重构的关键周期,同时也将面临攻防对抗升级、合规成本上升等多重挑战。
一是应用场景将呈现“数量扩容、范围延伸、场景深化”的核心趋势,整体场景数量持续增多,传统场景不断细化,新兴场景加速涌现。
AI安全赋能将成为场景扩容的核心亮点,主要集中在四大领域:高风险行业(教育、医疗、金融等),AI Agent,开源模型,具身智能。
二是行业发展将围绕技术革新、产品升级、生态协同三大主线,技术层面从“软件对齐”向“硬件+软件融合防御”范式转型,产品层面从“单一功能”向“全生命周期、一体化、定制化”升级,形成技术驱动产品、产品适配场景、生态赋能行业的发展格局。
(2)行业风险
在未来,AI安全将从单点防御向体系化防护发展,以应对技术应用演进带来的各种新风险、新挑战。从总体趋势上看,AI安全技术将随着风险的不断发展,形成四个特性,分别为:层级穿透性,风险从基础设施层、数据层和模型算法层渗透至应用层,安全技术需构建跨层级协同防御体系;动态对抗性,攻击者利用AI自动化生成敏捷攻击工具和策略,倒逼防御技术向自适应、自修复方向发展;生态依赖性,开源框架漏洞、供应链风险已经成为新的攻击入口,安全防护需延伸至技术生态全链条;危害现实性,随着AI技术与实际场景与产品的深度融合,原有的虚拟空间中的风险和危害将向物理空间延伸,造成实际的危害,安全防护需要快速应对这些实际风险。
图表27 AI技术风险分类分级防控体系
![]()
信息来源:中国信息通信研究院、融中研究
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.