特色专题 | 生成式人工智能对网络安全产业影响分析

编者荐语

本文深入探讨了生成式人工智能技术在网络安全领域中攻防两端的应用现状及其对传统模式的冲击，指出了技术进步所带来的挑战与机遇。文章强调，虽然生成式AI引发的安全问题对社会治理构成了新考验，但其在强化网络安全防御、促进产业升级方面的作用不容忽视。

摘　要

生成式人工智能技术同步赋能于攻防两端，进而冲击网络安全的传统模式。生成式人工智能对于网络安全产业的挑战和机遇并存，其内生安全、衍生安全问题给社会治理带来新的安全风险。同时，生成式人工智能广泛赋能于网络安全的解决方案，贯穿于网络安全威胁防御的全生命周期，助力升级网络安全技术能力，丰富产品形态，重塑网络安全的产业格局，并进一步激活网络安全市场。对待生成式人工智能技术发展需要统筹安全与发展，在管控风险的基础上，进一步释放技术潜力，推动我国网络安全产业良性发展。

论文结构

0　引　言

1　生成式人工智能基本特点及安全风险

1.1　生成式人工智能基本特点

1.2　生成式人工智能内生安全风险

1.3　生成式人工智能衍生安全风险

2　生成式人工智能在网络攻防上的双向赋能

2.1 生成式人工智能赋能网络防御

2.2 生成式人工智能助力网络攻击

2.3　生成式人工智能倒逼网络安全治理升级迭代

3　生成式人工智能冲击网络安全产业格局

3.1 升级网络安全产品

3.2 激活网络安全市场

3.3　生成式人工智能与竞争性选举操纵

4　对我国网络安全的启示

4.1　生成式人工智能发展热潮下的“冷”思考

4.2　发展为要，应用牵引，促进生成式人工智能技术进一步赋能网络安全产业

4.3　安全加固，灵活监管，建立健全的“生成式人工智能 + 网络安全”治理标准体系

5　结　语

0、引　言

自 2022 年 11 月 OpenAI 公司推出新型生成式人工智能 ChatGPT 后，针对生成式人工智能技术影响的讨论引发热潮。生成式人工智能作为近年来人工智能技术最为突出的发展方向，正在改变并重构普遍意义上的人机交互理念，对于网络安全攻防两侧的赋能效应也在逐步显现。一方面，生成式人工智能在威胁检测等方面已经得到广泛运用，能够根据实际需求形成一系列的解决方案；另一方面，该技术同样也可助力攻击者，极大地提高了网络攻击的复杂程度。生成式人工智能的“双刃剑”效应对网络安全产业的双面影响正在显现，如何扬长避短，充分释放该技术对网络安全产业的积极作用，同时控制负面影响，是考验网络安全产业能否抓住此轮人工智能技术革命实现产业跃升的关键。

1、生成式人工智能基本特点及安全风险

生成式人工智能是人工智能技术发展的最新阶段，通常由生成式对抗网络和变分自动编码器等深度学习模型提供技术和模型方面的支持，具有从大型数据集中学习并生成与人类创造的数据相似内容的能力。生成式人工智能还能够与用户互动，生成真实的图像，理解视觉场景等。

1.1　生成式人工智能基本特点

区别于由单个任务和领域构建的传统人工智能系统，生成式人工智能系统能够提供跨多领域的广泛通用功能，并具有以下特点：

一是广泛性。生成式人工智能功能广泛，能够生成文本、视觉效果、编程代码等多种类型内容。

二是高适用性。生成式人工智能通过跨学科、多领域的学习训练，具备生成人类社会基础知识的能力，且能够熟练运用大规模数据和算法，快速拆解和分析指令，从而快速生成答案。

三是逻辑推理性。生成式人工智能能够依靠算法大模型开展预训练，借助代码分步骤、分模块分解和分析问题，并逐步涌现出逻辑推理能力。

四是通用性。生成式人工智能能够开展多语言的自然语言任务处理工作，也能作为智能处理工具集成在计算机网络等学科领域中，实现技术工具和手段智能化。

五是技术融合性。生成式人工智能呈现出不同技术融合的趋势，比如将Transformer 引入计算机视觉领域产生的 ViT；将强化学习引入蛋白质结构预测的 AlphaFold 等。

1.2　生成式人工智能内生安全风险

生成式人工智能不仅具有一般性人工智能的缺陷，同时在技术迭代中产生了新的内生安全风险，主要包括：

一是决策过程不透明带来问责和溯源障碍。生成式人工智能主要通过内部运算调用实现内容生成，基本上是“黑箱”式操作，决策过程不透明。这直接降低了监督的有效性和决策的公平性，一旦发生问题，难以溯源找到问题症结，进而加大问责难度。

二是结果不可控性带来风险管控难和风险扩散广。人工智能的输出结果是由被训练后的大模型依靠一定的运算和推理过程得出的，这一过程本身属于“大模型意志”，难以控制其中间运算过程，容易导致输出结果的不可解释性，产生所谓的“幻觉”。

三是人机交互的不确定性带来意外风险。在最新一轮由大数据驱动的人工智能发展浪潮中，人工智能依赖于机器学习算法可以从大量数据中学习，并在没有人类指导的情况下做出决策。区别于早期依赖预编程规则执行重复任务的算法，生成式人工智能容易造成系统尚未训练处理的意外情况，即系统在相同输入的前提下也可能会表现出截然不同的行为。人机交互中的不确定性会导致人工智能系统产生对用户构成安全隐患的意外行为。

1.3　生成式人工智能衍生安全风险

除内生安全风险外，生成式人工智能基本组件（数据和模型）所具有的风险以及应用过程中所产生的风险同样值得关注。

1.3.1　数据安全

生成式人工智能需要大量数据“喂养”，数据自身的安全问题将会影响生成式人工智能的整体安全。数据安全问题既包括训练阶段数据采集不当、存在偏见或标签错误、数据被投毒等，也包括模型在应用的过程中出现的数据泄露、隐私曝光等风险。当前，生成式人工智能的应用已吸引了大量用户，这些应用可以收集用户的各种特征信息，如性别、年龄、地域等自然特征，以及婚姻情况、社交情况等社会特征等。随着用户对话信息的增加，人工智能能够不断增强用户画像，对用户进行标签化，形成数据集，进而清晰地了解用户，因此一旦这些信息遭到泄露，将产生严重的安全隐患。

1.3.2　模型安全

生成式人工智能模型在搭建过程中未能充分考虑安全机制问题，导致网络攻击者可通过模型窃取攻击、数据窃取攻击、对抗攻击、后门攻击、提示注入攻击、数据投毒等攻击突破大模型自身的安全机制。此外，攻击者还可将大模型打造成运行恶意指令的工具，将恶意数据或指令插入到模型的输入流中，欺骗模型按照攻击者的指令进行操作。此外，模型在训练过程中吸收有害信息，将导致生成内容本身失真。

1.3.3　应用安全

生成式人工智能在应用中带来了新的安全风险，其与传统的“深度伪造”相结合，可生成大量的虚假信息，升级迭代认知对抗。生成式人工智能模型还易被训练者操控，产生政治偏见，进而借助其强大的交互和生成能力影响使用者的认知。此外，过度依赖生成式人工智能获取信息也可能导致知识多元化不足，限制公众对不同观点的理解，形成“信息茧房”，减弱公众的批判性思维。因此，应对此类风险也成为网络安全产业的新增长点。

2、生成式人工智能在网络攻防上的双向赋能

生成式人工智能技术犹如一把双刃剑，同步赋能于攻击者和防御者，给网络安全的攻防双方带来巨大变革。攻击者可以利用生成式人工智能生成更加真实的钓鱼邮件和开展社交工程攻击等攻击行为，而防御者也可以利用其进行更有效的威胁检测和应急响应等防御举措。

2.1　生成式人工智能赋能网络防御

生成式人工智能因其具有智能化与自动化的识别和处理能力，以及强大的数据分析能力，可与网络空间安全技术及应用进行深度协同，给网络空间安全的理论、技术、方法、应用带来巨大冲击，极大地促进了网络安全变革性进步。

2.1.1　提升网络安全能力

生成式人工智能能够极大地提升网络安全技术水平。网络安全技术多是基于计算机语言通过运算实现的，而生成式人工智能具备强大的计算能力和学习能力，还能够内嵌到传统网络安全技术中获得新型智能化能力，主要表现在：

一是机器学习驱动网络安全解决方案的自动生成。传统网络安全技术是人为实现的，需要有长时间的技术积累和实践经验积累，而最终效果和能力还需要依靠个人能力来实现。但生成式人工智能能够系统地学习大量的网络技术理论和案例，能够自动生成有效的网络安全解决方案。

二是开展自动化网络防御行为。网络安全技术本身是极具系统性的复杂庞大的技术体系，在网络安全运维过程中更多的是人为操作因素。生成式人工智能可以赋能安全专家，通过自动化检测不仅可将安全专家从烦琐的日常性工作中解放出来，同时还能实现更为复杂的攻防工作。

三是与时俱进升级优化技术的能力。人工智能的学习内容是与时俱进的，通过学习能不断优化既定网络手段，使之不断改造升级，以适应技术本身的迭代发展。此外，生成式人工智能还能够实现更具个性化的方案定制。人工智能能够监测和分析网络运行环境，通过动态调整始终使网络运行在最理想的状态，最大化利用资源并统一调配，并根据运营者的个性化需求进行定制。

四是实现“一站式”的网络威胁防御。人工智能技术能够集合入侵检测、漏洞扫描、异常行为告警等多重网络威胁防护手段，并将其集成到既有网络技术手段中，极大节约了人力、物力成本。

2.1.2　加固网络防御端

目前， 生成式人工智能赋能的网络安全解决方案已贯穿于网络安全威胁防御的全生命周期。

（1）攻击发生前，生成式人工智能能够更为准确地进行攻击意图研判和威胁预测，并提前准备。

在威胁检测方面，能够改善传统网络威胁检测方法，通过从大量的历史数据中学习，可预测和识别新的攻击向量和漏洞，显著降低网络攻击的影响。

在数据增强方面，由于机器学习算法需要大量标记数据并进行训练，生成式人工智能可以创建反映现实场景的合成数据，有助于提高人工智能驱动的安全系统的准确性和稳健性，提供更多“实景”演练的机会。

（2）攻击发生后，生成式人工智能可快速锁定“偏差”行为并进行积极的响应。

一是开展异常检测，生成式人工智能可以理解和学习系统内“正常”行为模式，并开发出可识别“偏差”行为的熟练工具。特别是在应对网络钓鱼检测和预防方面，生成式人工智能能够分析邮件的文本内容，识别出钓鱼邮件中常见的语言模式、拼写错误、不一致性等特征。这种深度文本分析能力有助于从语义层面判断邮件的真实性。

二是进行追踪溯源。生成式人工智能可以通过分析和比较大量合法和恶意内容的数据集来进行调查溯源。

三是增强网络安全中的威胁检测和响应效度。生成式人工智能可以通过大规模的分析数据、实时识别威胁等功能，提升事件响应效率，使得响应处置时间从天、小时进化到秒，实现自动化响应处置。

2.2　生成式人工智能助力网络攻击

正如生成式人工智能可以增强防御机制一样，其同样可以赋能网络攻击者。可以说，生成式人工智能加持下的网络攻击已经进入了全新时代，极大地激活了攻击向量中已知和未知的因素。

2.2.1　降低网络攻击门槛

传统网络攻击脚本均由人为编写，相当于专业技术产出，是一个耗时、劳动密集的过程，需要大量的人力参与，同时也具有一定的专业门槛。随着生成式人工智能技术的发展，其不仅可以有效减少攻击过程中的耗时烦琐工作，例如收集有关目标的数据，还可更容易地同步发起多项网络攻击任务，如钓鱼邮件生成、撞库攻击、恶意代码生成、漏洞利用、渗透攻击等。以 ChatGPT 4.0 为例，通过与其问答的形式即可获得恶意代码等网络攻击原始素材，还能要求平台混淆恶意代码，达到隐藏攻击目的的作用。

2.2.2　提高攻击效度

基于生成式人工智能的网络攻击能够叠加多重攻击手段，实现系统性攻击而非单纯点位式攻击。目前融入生成式人工智能技术的网络攻击已经覆盖了目标侦察、对抗查杀、意图隐藏、武器投递和目标控守等网络攻击的全生命周期，同时能够创建复杂的、量身定制的攻击形式，极大挑战了传统的防御模式。美国白宫网络安全顾问安妮·纽伯格表示，“有了大语言模型，恶意软件的生成速度要比之前更快，我们想要做的是在人工智能攻防追逐中，防御方能够行动得更快”。

2.2.3　推动网络攻击自动化

伊利诺伊大学厄巴纳—香槟分校的最新研究发现，ChatGPT 4.0 不仅能够理解漏洞的描述，还能自主执行一系列复杂的步骤来实施攻击，这不仅展示了人工智能在自动化攻击和漏洞利用方面的巨大潜力，还为黑客提供了新的攻击手段。

2.3　生成式人工智能倒逼网络安全治理升级迭代

生成式人工智能能够促进网络治理工作的革新。在网络安全全生命周期能力保障中，生成式人工智能的融入引领了安全产品形态的深刻变革，显著提升了安全防御的整体效能，具体体现在以下 2 个方面：

一是提升一线运营的效率和能力。例如，在漏洞管理方面，生成式人工智能极大地简化了流程，可通过全面扫描代码并智能识别潜在的安全弱点来自动评估漏洞，加快了漏洞的识别和优先级排序，使网络安全团队能够更有效地分配资源。

二是推动了身份验证技术的革新，弥补了传统方法的不足。鉴于依赖密码或令牌的传统身份验证方法面临被破解的风险，生成式人工智能引入了更为先进的基于行为的身份验证机制，该机制通过分析个人与系统、设备交互的独特模式，构建出更为精准的用户行为画像，从而极大增强了身份验证的安全性与可靠性，为防御身份冒用攻击提供了强有力的支持。

3、生成式人工智能冲击网络安全产业格局

区别于过去单点的技术和产品创新，生成式人工智能对网络安全产业带来全面、系统的影响，催生出“人工智能 + 安全”的安全新赛道，并衍生出一系列的新产品和服务。同时，生成式人工智能自身安全以及作为技术工具赋能网络攻击，衍生出新的安全风险，这在一定程度上为网络安全产业发展带来了新的市场需求。

3.1　升级网络安全产品

生成式人工智能在网络安全市场中的大规模运用，进一步刺激了人工智能驱动的安全解决方案的开发，改变了安全产品形态，并且实现初步的商业化落地。科技公司 Splunk 调查发现，93% 的网络安全领导者表示其公司已经部署了生成式人工智能。

国际上“人工智能 + 安全”已经实现初步商业化落地，无论是头部企业的“广撒网”还是新兴企业的专项耕耘，网络安全企业均在努力抓住此轮人工智能发展热潮中的机遇布局自身发展。总体来看，目前主流的人工智能网络安全产品主要分为 2 大类：

一是安全协助产品，这是目前大部分生成式人工智能产品的聚焦方向，主要功能包括安全监控、威胁检测、资产风险、创建报告等，能够辅助安全管理人员提升安全运营的自动化水平。2023 年 3 月，微软发布首个生成式人工智能安全产品 Security Copilot 后，包括谷歌、众击（CrowdStrike）等企业也相继推出了相应的安全产品。

二是人工智能驱动的安全运营。人工智能改变了传统安全设备平台多且杂、数据混乱的情况，在人工智能的安全平台上往往集成多样的安全产品和功能，能够持续评估设备、用户、文件、网络、电子邮件、应用程序、云、日志，甚至暗网活动，高效识别网络威胁踪迹，形成整体防御合力。此类平台的代表为 Palo AltoNetworks 推出的产品 XSIAM（扩展安全智能和自动化管理），目前该产品已经成为该公司业务量增长最快且体量最大的产品线。

3.2　激活网络安全市场

生成式人工智能技术为网络安全产业的发展带来了强劲动力。国际一流网络安全企业均在努力利用生成式人工智能，企图实现能力跃升和产品升级。据统计，2023 年，网络安全市场中的生成式人工智能的价值达到 178 亿美元，且该市场有望呈指数级增长，预计未来几年市场价值将达到 1 469 亿美元，复合年增长率达到 26.4%。

生成式人工智能所带来的技术创新对网络安全格局产生了深远影响。

一是激活市场活力。微软、IBM、思科、Palo Alto Networks 等企业在网络安全市场的生成式人工智能领域处于领先地位，这些企业通过积极并购，与大量的初创人工智能技术公司合作。2024 年 3 月，思科公司收购智能分析公司 Splunk，利用人工智能进行数据连接和保护，构建基础设施、数据开发、安全平台、可观察平台等。苹果公司在 2019 年收购人工智能初创公司 PullString，2023 年底收购 Datakaleb 公司，又在 2024 年收购加拿大人工智能初创公司 DarwinAI，大量的收并购极大地激活了市场的活力。

二是扩大市场规模。斯坦福大学《2024 年人工智能指数报告》显示，2023 年全球对生成式人工智能领域的投资总额达到 252 亿美元，较 2022 年增长了 8 倍。在此期间，OpenAI 和 Anthropic 等科技企业均完成了大规模融资。众击公司预测，未来 5 年生成式人工智能产品的潜在市场规模将达到 70 亿美元，将不亚于目前的核心产品线。

4、对我国网络安全的启示
针对此轮生成式人工智能的发展热潮，我国网络安全产业也在积极布局，抢占先机。在生成式人工智能的双刃剑效应下，我国需进一步统筹安全与发展，充分释放生成式人工智能的潜力，促进网络安全产业迭代升级。

4.1　生成式人工智能发展热潮下的“冷”思考

虽然网络安全产业中出现人工智能利用“热”潮，但生成式人工智能的发展仍存在许多未知的挑战和风险。对此，需要正确看待生成式人工智能的赋能作用。当前生成式人工智能运用到网络安全防御中还处于初期阶段，即使较为成熟的微软 Security Copilot，也仍然只对公司少部分客户进行非公开预览。我国国内头部网络安全企业均在筹备新赛道上的新单品，但是在产品市场化之前，需要全面测试其安全性。

再者，需要警惕此轮生成式人工智能发展带来的“强者恒强”的趋势。在全球市场中，基于先进的技术基础设施以及在人工智能和网络安全方面的重大投资，北美在 2023 年主导了全球市场，占有 38.2% 的绝大部分份额，这种情况也将随着技术的发展更加明显。在国内市场中，由于生成式人工智能深度依赖于安全大数据，因此具有广泛客户数据的头部网络安全企业的优势非常明显。如何在国际市场上突围并扩大市场份额，并促进国内中小企业更为平等地使用新技术是政策监管者需要思考的问题。

最后，大模型标准竞争已全面加速。斯坦福大学《2024 年人工智能指数报告》显示，包括 OpenAI、Google 和 Anthropic 在内的领先开发人员正在针对不同的负责任人工智能基准开展测试，但是国际通用的大模型标准仍未出现。对此，我们一方面需大力推动生成式人工智能技术赋能网络安全产业，同时也要加强安全保障，推进标准建设，实现技术发展与安全可控的平衡。

4.2　发展为要，应用牵引，促进生成式人工智能技术进一步赋能网络安全产业

生成式人工智能技术引领网络安全变革已成为国际趋势。各国政府和网络安全企业均在积极推进生成式人工智能在网络安全领域的应用。我国已出台《新一代人工智能发展规划》《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》《生成式人工智能服务管理暂行办法》等相关政策法规。在此基础上，需进一步推动人工智能技术更高效赋能网络安全产业。

一是加大对网络安全产业开发人工智能新产品、新业态的扶持力度，包括加大财政资金投入力度，采用“揭榜挂帅”等方式，鼓励并扶持兼具“网络安全 + 人工智能”能力的企业。

二是支持生成式人工智能在网络安全中的示范应用，打造形成标杆型示范应用场景。

三是鼓励协同研发，鼓励拥有高质量数据的企业对外开放数据，探索商业化合作场景。

4.3　安全加固，灵活监管，建立健全的“生成式人工智能 + 网络安全”治理标准体系

为构建全面且高效的治理标准体系，确保技术发展的同时兼顾安全与合规，需从以下 3个方面着手：

一是支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源，建设可信的安全模型和应用体系。

二是标准先行为创新“留有余地”，加快创建生成式人工智能安全标准，在内容安全、数据安全、科技伦理、网络安全等细分领域制定安全检测标准。

三是建立生成式人工智能的评估与检测机制。我国已有新技术、新应用安全评估工作制度，需要尽快建立针对生成式人工智能技术的安全检测评估机制，建设相应的测试方法、工具、数据集和漏洞库等共享平台，推动支撑生成式人工智能的良性发展。

5、结语

生成式人工智能对网络安全产业具有多维度影响。一方面，生成式人工智能在提升网络安全技术能力、丰富产品形态及激活市场方面展现出巨大潜力，推动了网络安全产业的变革与发展。另一方面，生成式人工智能的内生与应用安全风险不容忽视，需加强治理工具的升级迭代。但是随着人工智能技术的快速发展，其对网络安全的影响仍在不断发展，难以在短期研究中得以展现，这也使本文在具体案例分析及长期影响预测上仍存在不足。未来研究将进一步聚焦生成式人工智能技术在网络安全领域的实际应用案例，深化对其潜在风险与挑战的探讨，并提出更具针对性的治理策略与标准，以推动我国网络安全产业在生成式人工智能时代的健康发展。

引用格式

桂畅旎 , 杜文越 . 生成式人工智能对网络安全产业影响分析 [J]. 信息安全与通信保密 ,2024(8):11-19.

作者简介

• 桂畅旎（1990—），女，博士，高级工程师，主要研究方向为网络空间战略政策；
• 杜文越（1994—），通信作者，女，助理研究员，主要研究方向为人工智能安全治理。