Trust AI@TÜV SÜD专栏第十四期：欧盟人工智能法案的被禁止人工智能系统清单强制实施

上海2025年2月13日/美通社/ --2025年2月2日，欧盟《人工智能法案》被禁止人工智能系统清单生效。即日起，面向欧盟市场的AI系统提供商和部署商、基于AI的服务提供商、含有嵌入式AI的产品制造商将面临合规性挑战。为协助中国人工智能相关企业积极应对这一合规性挑战，TÜV南德意志集团（以下简称"TÜV南德"）推出AI系统的快速评估服务，帮助企业及时识别其基于AI的服务和AI相关产品中可能含有的被禁止功能，控制风险。

欧盟《人工智能法案》（Regulation (EU) 2024/1689）于2024年7月12日出版，并于20日后的8月1日生效，根据第113章的实施计划，法案整体将在两年后的2026年8月2日强制实施。然而，第5章"被禁止的人工智能实践"提前于2025年2月2日强制实施。这意味着从该日期起，任何在欧盟市场提供含有被禁止人工智能的产品和服务的行为都将承担相应的法律后果。为了该禁止清单得到有效执行，欧盟委员会还于2025年2月4日发布了《人工智能法案》所定义的"被禁止的人工智能实践"的指南（以下简称"指南"）。

该指南进一步提供了对《人工智能法案》第5章（Article 5）所列被禁止人工智能实践的解释，以确保这些法规条款得到一致和有效的执行。该指南再次强调了被禁止AI系统的供应商和部署商可能会被处以最高3500万欧元或其上一财年全球年营业额的7%（以较高者为准）的罚款。

八类被禁止的人工智能应用

《人工智能法案》第5章定义了八类被禁止的人工智能应用，以下为每种类型的具体定义，适用范围和举例。

法规章节

禁止项

内容与举例

Article
5(1)(a)

有害的操纵
与欺诈

• AI系统通过潜意识、故意操纵或欺骗性技术来影响消费者的购买决策，从而可能对消费者造成经济上的伤害。
• AI系统通过操纵性设计来影响用户的情绪和行为，从而可能对用户的心理健康和社会关系造成伤害。
• AI系统通过设计高度成瘾的游戏机制，诱导玩家过度消费或沉迷于游戏，从而可能对玩家的心理健康和经济状况造成伤害。

Article
5(1)(b)

对弱势群体
脆弱性的有
害利用

• AI系统利用儿童的年龄和认知特点，通过操纵性设计诱导儿童采取某些行为，从而可能对儿童造成身体或心理上的伤害。例如，AI驱动的玩具，通过设计吸引儿童进行危险行为，
  如鼓励儿童攀爬高处或接触危险物品，从而可能导致儿童受伤。
• AI系统通过分析残疾人、老年人的行为模式，向他们推送特定的广告或内容，这些内容可能对他们的心理健康产生负面影响，如诱导他们购买不必要的产品或服务。
• AI系统通过分析患有某些慢性病的患者的健康数据，向他们推送特定的医疗产品或服务广告，这些广告可能诱导他们购买不必要的或无效的医疗产品，从而导致经济损失和健康风险。
• AI系统通过分析低收入群体的消费习惯，向他们推送高利率贷款或高风险投资的广告，这些广告可能诱导他们做出不利于自己的财务决策，从而导致经济上的损失。

Article
5(1)(c)

社会性评分

• AI系统基于社会行为、个人或人格特征对自然人或人群进行评估或分类，当数据来自不相关的社会背景或这种处理不合理或与社会行为不成比例时，社会评分会导致有害或不利的处理结果。
• 例如信用评分系统使用个人的社交媒体活动或在线行为来评估其信用风险，导致在贷款或金融服务的获取上对某些个人或群体产生不公平的待遇。
• 例如招聘系统使用个人的教育背景或工作经历来评估其就业资格，导致对某些个人或群体的就业机会产生不公平的限制。

Article
5(1)(d)

个人犯罪风
险评估和预
测

• 使用AI系统预测个人未来犯罪的可能性，仅基于其个人特征或行为模式，可能导致对某些群体的系统性偏见和歧视。
• AI系统在没有具体证据的情况下，对个人进行犯罪风险评估，可能导致对个人的不公正对待。

Article
5(1)(e)

无差别面部
图像抓取

• AI系统无差别地抓取互联网上的面部图像来创建或扩展面部识别数据库。
• AI系统通过闭路电视（监控）无差别地抓取视频中的面部图像来创建或扩展面部识别数据库。
• 在未经个人明确同意前提下建立的识别数据库用于执法、商业和研究活动。

Article
5(1)(f)

情感识别

• 在工作场所或教育机构推断情绪的AI系统，除非出于医疗或安全原因。
• 例如监控员工的情感状态，以评估他们的工作表现或满意度。
• 招聘过程中用于推断应聘者的情感状态，以评估他们的适合度。
• 例如推断学生的情感状态，以评估他们的学习效果或参与度。

Article
5(1)(g)

生物特征
分类

• 使用AI系统根据生物特征数据对个人进行种族分类，可能导致对某些群体的系统性歧视。
• AI系统根据生物特征数据对个人进行政治观点分类，可能导致对某些群体的不公正对待。
• 可能导致对个人的系统性歧视和不公正对待，特别是在敏感领域如种族、政治观点等。
• 可能导致对某些群体的系统性偏见，影响社会公平和司法公正。

Article
5(1)(h)

实时远程生
物特征识别

• 实时远程生物特征识别（Real-Time Remote Biometric Identification, RBI）是一种利用AI技术，通过远程方式实时识别个人身份的技术。它通常涉及将个人的生物特征数据（如面部图像、
  指纹、虹膜扫描等）与存储在数据库中的数据进行比对，以确定该个人的身份。
• 实时远程生物特征识别在公共场所用于执法目的被严格限制，除非满足特定的例外情况，如寻找失踪儿童、预防恐怖袭击或识别犯罪嫌疑人等。这些例外情况需要经过严格的授权程序，
  并确保有充分的法律依据和保护措施。

豁免条件

除了以上八项被禁止人工智能实践的清单，《人工智能法案》第5章还详细规定了豁免条件，如在某些特定情况下，可以使用通常被禁止的人工智能实践的必要保障措施和条件。例如实时远程生物特征识别（RBI）系统在执法领域的应用，在满足一定保障措施和条件下可以获得例外许可：

• 针对特定受害者的搜索：例如被绑架、人口贩卖或性剥削的受害者，以及失踪人员。
• 防止具体威胁：例如防止对自然人的生命或身体安全构成的具体、重大和迫在眉睫的威胁，或对恐怖袭击的真实和当前或可预见的威胁。
• 定位或识别犯罪嫌疑人：例如涉嫌犯有《人工智能法案》附件II（Annex II）中所列犯罪的人员。

使用这些系统时必须遵循的严格条件包括事先授权、必要性和成比例性评估、地理和时间限制、基本权利影响评估（FRIA）、注册要求、通知监管机构以及年度报告等。这些规定旨在确保在保护执法需求的同时，充分保护个人的基本权利和自由。

具体的例外案例如下：

一种生物特征识别系统（非远程）用于验证人员是否具有进入核电站的权限。当人员在显眼的摄像头前进行验证时，若系统拒绝其访问，随后会尝试识别该人员是否属于恐怖分子监视名单。该系统并非远程操作，且人员是主动参与验证流程以获取核电站准入权限。该应用场景不违反《人工智能法案》第5条的被禁止人工智能实践的条款规定。

监管与罚款

欧盟成员国指定的市场监管机构以及欧洲数据保护监管机构负责执行《人工智能法案》中关于人工智能系统的规则和禁令。《人工智能法案》建立了一个分级的处罚体系，针对违反AI禁止项的最严重处罚如下：

• 对供应商和部署者的罚款：从事被禁人工智能实践的供应商和部署者可能会被处以最高3500万欧元或其上一财年全球年营业额的7%（以较高者为准）的罚款。
• 对公共机构的处罚：对违反法案的公共机构和机构处以行政罚款，这些罚款最高可达150万欧元。

不适用范围

包括国家安全、国防等用途、与第三国的司法和执法合作等几种情况不适用于《人工智能法案》。为了在促进技术创新和保护公共利益之间取得平衡，《人工智能法案》还规定了一些排除情况。如，在投放市场前的研究与开发阶段，为了符合安全和伦理要求而进行各式技术验证，以及纯粹个人目的的非专业活动以及以自由和开源许可证发布的AI系统。

数据保护

AI法案的禁止条款与GDPR的原则密切相关，特别是在处理个人数据时。GDPR要求数据处理必须合法、公正和透明，旨在保护数据主体的个人数据权利。AI法案中的禁止条款，旨在防止通过人工智能技术对个人进行操控、剥削或不公正对待，这与GDPR保护个人数据的目标是一致的。因此需要同时确保不违反数据保护法律。例如，如果某个AI系统通过不当方式收集和处理个人数据，导致对个人的操控或剥削，那么该系统就可能违反GDPR的规定。另外，对于具体AI系统还要关注广告法、医疗器械法规、数字服务法等可能适用的法规。

结语

为协助中国人工智能相关企业积极应对这一合规性挑战，TÜV南德推出AI系统的快速评估服务，包含合规性评估、技术支持、培训和教育等服务，帮助中国出口商企业理解和满足欧盟相关法规要求，避免踩到被禁止的AI实践的红线。通过这项服务，中国人工智能相关出口商可以快速确认产品中没有被禁止AI系统，并获得有公信力的第三方证明。在AI产品或服务与被禁止清单有关时，获得豁免或排除的专业建议。