欧盟网络安全局：人工智能威胁态势报告

12月15日，欧盟网络安全局（ENISA）发布了《人工智能威胁态势报告》，揭露了AI生态系统面临的主要网络安全挑战。ENISA的研究采用了一种方法论来绘制人工智能领域的关键参与者和威胁。该报告遵循了欧盟委员会2020年人工智能白皮书中定义的优先事项。ENISA人工智能网络安全特设工作组由来自欧盟机构、学术界和工业界的成员组成，提供了意见并支持了本报告的起草。

这种新兴技术的好处是显著的，但也存在一些问题，比如操纵和攻击方法的潜在新途径。该技术在整个供应链中需要许多步骤，需要大量数据才能有效发挥作用。《人工智能威胁前景报告》强调了在人工智能生态系统的每个部分进行网络安全和数据保护的重要性，以为最终用户创造值得信赖的技术。

报告的重点包括：

遵循生命周期方法定义人工智能在网络安全背景下的范围。人工智能系统和应用程序的生态系统是通过考虑人工智能生命周期的不同阶段来定义的——从需求分析到部署。

• 识别AI生态系统的资产，这是确定AI生态系统的安全性需要保护和可能出错的基本步骤。
• 通过详细的分类法对AI威胁态势进行映射。这用作识别特定用例的潜在漏洞和攻击方案的基准。
• 威胁分类及相关威胁行为人名单。还强调了威胁对不同安全属性的影响。

本期内容将介绍报告全文框架及人工智能威胁概述。

一、报告全文目录

目 录

1. 介绍

1.1 政策脉络

1.2 范围和目标

1.3 方法

1.4 目标受众

1.5 报告框架

2. 人工智能生命周期

2.1 周期概述

2.2 周期因素

2.3 周期阶段

2.3.1 业务目标定义

2.3.2 数据获取

2.3.3 数据挖掘

2.3.4 数据预处理

2.3.5 特征筛选

2.3.6 模型筛选/建立

2.3.7 模型训练

2.3.8 模型优化

2.3.9 迁移学习

2.3.10 模型部署

2.3.11 模型维护

2.3.12 业务理解

3. AI资产

3.1 方法惯例

3.2 资产分类

4. AI威胁

4.1 威胁因素

4.2 威胁建模方法

4.3 威胁分类

5. 结论

二、人工智能威胁

人工智能使自动化决策成为可能，并为日常生活的许多方面提供便利，带来操作的增强和许多其他好处。然而，人工智能系统面临着大量的网络安全威胁，人工智能本身也需要得到安全保护，因为已经有报道出现了恶意攻击的案例，例如人工智能技术和基于人工智能的系统可能会导致意想不到的结果，并可能被篡改以操纵预期的结果。因此，有必要了解人工智能威胁格局，并有一个共同和统一的基础，后者将支持实施有针对性和相称的安全措施和控制，以应对与人工智能有关的威胁。

在本章中，我们将描述人工智能的威胁前景，首先简要讨论相关的参与者，然后采用同样的方法推导不同资产的威胁，然后描述威胁及其在通用分类法中的分类。

（一）威胁因素

网络罪犯的动机主要是利润。网络犯罪分子倾向于将人工智能作为进行攻击的工具，但也会利用现有人工智能系统的漏洞。例如，他们可能试图入侵人工智能聊天机器人，窃取信用卡或其他数据。或者，他们可能会对用于供应链管理和仓储的基于人工智能的系统发起勒索软件攻击。

公司内部人员，包括能够进入组织网络的雇员和承包商，可能涉及那些有恶意意图或可能无意伤害公司的人。例如，恶意内部人士可能试图窃取或破坏该公司人工智能系统使用的数据集。没有恶意的内部人员可能会意外地破坏这样的数据集。

民族国家行为体和其他国家支持的攻击者一般来说是先进的。除了开发利用人工智能系统攻击其他国家（包括行业和关键基础设施）的方法，以及使用人工智能系统保护自己的网络，国家行为体还在积极寻找他们可以利用的人工智能系统的漏洞。这可能是对另一个国家造成伤害的一种手段，或作为情报收集的一种手段。

其他威胁行为包括恐怖分子，他们试图造成人身伤害甚至生命损失。例如，恐怖分子可能希望侵入无人驾驶汽车，以便将其用作武器。

黑客活动主义者大多倾向于受意识形态的驱使，他们可能也会试图侵入人工智能系统，以证明这是可以做到的。越来越多的组织担心人工智能的潜在危险，他们侵入人工智能系统以获得公众关注并非不可想象。

除了上述讨论的传统威胁因素之外，越来越有必要将竞争对手也纳入威胁因素，因为一些公司正越来越多地表现出攻击对手的意图，以获得市场份额。

（二）威胁建模方法

线程建模包括识别威胁的过程，并最终列出它们并对它们进行优先排序。如何进行威胁建模存在多种方法，步幅是其中最突出的一种。在针对特定用例对人工智能进行未来风险/治疗评估的背景下，我们采用的威胁建模方法包括5个步骤，即：

• 目标识别：识别系统应该具有的安全属性。
• 概述：映射系统、其组件及其相互作用，以及与外部系统的相互依赖关系。
• 资产识别：从安全性方面指出需要保护的关键资产
• 威胁识别：识别将导致资产不能满足上述目标的威胁
• 漏洞识别：通常基于已存在的攻击来确定系统对于已识别的威胁是否脆弱

（三）威胁分类

下面的列表给出了基于ENISA威胁分类法的高级威胁分类列表，该分类法用于绘制人工智能威胁地图。

• 邪恶活动/滥用(NAA)：“针对信息和通信技术系统、基础设施和网络的蓄意行为，目的是窃取，改变或摧毁一个特定的目标”。
• 窃听/拦截/劫持(EIH)：“旨在侦听、中断或在未经同意的情况下夺取对第三方通信的控制的行为”。
• 物理攻击（PA)：“旨在破坏、暴露、更改、禁用、窃取或获得未经授权访问物理资产（如基础设施、硬件或互连）的行为”。
• 意外损害：无意的行为，导致“破坏，伤害，或伤害财产或人员，并导致失败或减少使用”。
• 故障或故障(FM)：“资产（硬件或软件）部分或全部功能不全”。
• 中断（OUT）：“服务意外中断或质量下降低于要求水平”。
• 灾难(DIS）：“突然的事故或自然灾害，造成巨大的损失或生命损失”。
• 法律(LEG)：“第三方（缔约方或其他缔约方）的法律行动，以禁止行为或赔偿损失的适用法律”。