【副标题】以欧盟《人工智能法》为视角展开
【作者】江海洋(法学博士,山东大学法学院副教授)
【来源】北大法宝法学期刊库《法学论坛》2025年第5期(文末附本期期刊目录)。因篇幅较长,已略去原文注释。
![]()
内容提要:当前,世界大多数国家与地区对人工智能的监管,都选择了“基于风险”的方法。基于风险的监管由两个步骤组成:风险评估和风险应对。“基于风险的监管”将风险作为一种工具,以与实际损害相称的方式确定执法行动的优先顺序和目标。然而,以欧盟《人工智能法》为例,“基于风险”的人工智能监管存在“权利”风险的计量、风险效益分析缺失、封闭式风险分类导致涵盖过广或涵盖过窄等诸多困境。对此,为真正实现基于风险的人工智能监管,一方面,必须树立诸如包容审慎、技术中立、基于证据的风险评估与分类、合比例监管等与“基于风险的监管”相符合的理念;另一方面,必须采取契合“基于风险的监管”的相应措施。针对人工智能侵害基本权利的风险评估问题,应在“基于权利的方法”框架中纳入“基于风险的方法”要素,并引入各种参数,从客观和主观两个角度来评估基本权利受干扰的严重程度。同时,风险分类应原则化,并采用多种风险监管工具对不同阶段的风险进行全流程的系统化防控。
关键词:监管工具;基于风险的方法;人工智能立法;监管;权利风险;风险评估
目次 一、问题的提出 二、基于风险的人工智能监管概述 三、基于风险的人工智能监管困境:以欧盟《人工智能法》为例 四、基于风险的人工智能监管方法之完善:理念与措施 结语
一
问题的提出
人工智能已经成为当今世界竞争的关键领域,尤其对我国与美国而言更是如此。美国一直将人工智能作为重要战略利器,不断强化顶层设计、出台发展规划、制定法律法规,以保证其在世界人工智能产业发展的领先地位。同时,人工智能产业落后于我国与美国的欧盟,更是率先出手制定《人工智能法》,试图再现GDPR的布鲁塞尔效应,将其人工智能治理规则扩展到全球范围,以此实现通过定义全球监管规则来夺回其对科技行业的控制权的目标。虽然有学者将欧盟此举批评为数字保护主义、技术民族主义。但是,不可否认的是,在全球化的背景下,欧盟率先制定的《人工智能法》必然会对世界其他国家、地区的人工智能法律制定产生影响。
我国也高度重视人工智能的发展和治理,鉴于共识的缺乏和规则的缺失必然会给人工智能产业发展带来高度的不确定性,成为人工智能产业发展面临的制度瓶颈,故而,早在2017年,国务院发布的《新一代人工智能发展规划》就提出了“三步走”的立法规划,并在2023年6月发布的《国务院2023年度立法工作计划》中明确将《人工智能法》列入立法规划。当然,我国《人工智能法》的成功出台必然需要理论支持。而当前我国学界对人工智能监管的研究呈现两种趋势:一方面,部分学者的研究集中在宏观的立法建构领域,探讨了诸如人工智能立法的基本逻辑与制度架构、治理范式、规制结构设计等宏观问题;另一方面,部分学者的研究集中在探讨如何规制微观层面的人工智能具体风险,如个人信息保护风险、数据安全风险、司法伦理风险。
可以发现,目前的人工智能监管仍缺乏一个中观层面的方法论作为沟通宏观立法与微观问题规制的纽带。故而,有必要尝试针对人工智能的监管提出一种中观层面方法论作为指引。与国内人工智能治理的研究相较,考虑人工智能的生产力水平及其对社会形态的冲击,各主要国家与地区均聚焦其发展与风险,采用了不同类型的规制模式。当前,对人工智能的监管,主要存在“基于权利的方法”与“基于风险的方法”两种具体路径选择,而包括欧盟在内的世界上大多数国家和地区都旗帜鲜明地选择了“基于风险的方法”作为监管人工智能系统的主导战略。因此,为了保证我国与世界其他国家以及地区的人工智能监管趋势保持同步,更好地平衡鼓励创新与预防人工智能潜在风险之间的关系,为我国人工智能产业的良性发展提供法律制度支持,有必要对“基于风险”的人工智能监管相关理论与实践问题,进行深入研究。
二
基于风险的人工智能监管概述
(一)基于风险的人工智能监管趋势
近几十年来,以风险为导向的治理与监管模式在全球范围内日益兴起,成为公共治理领域的重要趋势。同样的过程最近也影响到了法律领域。以欧盟为例,自《数字单一市场战略》启动后,其在数字经济监管中越来越依赖基于风险的方法,试图通过强化主体对自身活动所产生的风险及潜在附带影响的责任来实现风险管控。这一点从欧盟在数据、在线内容、人工智能等领域的立法进展中可清晰看出——“基于风险的方法”在其数字政策中的应用尤为显著,且广泛见于数字法律体系,涵盖数据、在线平台、网络安全、人工智能等多个领域。作为全球首部尝试全面监管人工智能的法律,欧盟《人工智能法》(AI Act)便明确采用了这一方法,其核心逻辑是“风险越高,规则越严”,即根据人工智能系统的风险程度,对应选择和设计监管工具。欧盟《人工智能法》序言第26条指出:“为了对人工智能系统引入一套合比例的、有效的、具有约束力的规则,应遵循明确界定的基于风险的方法。这种方法应根据人工智能系统可能产生的风险的强度和范围来确定此类规则的类型和内容。”
除欧盟《人工智能法》之外,在世界许多地方,基于风险的方法已成为国际与国家层面制定监管人工智能系统的主导战略。在美国,虽然至今没有在联邦层面通过任何人工智能的法案,但目前其州立法以及软法监管人工智能系统的方法似乎与欧洲一样,也是以风险分析与缓解为中心。以《科罗拉多州人工智能法》为例,从法律规制的范围来看,《科罗拉多州人工智能法》与欧盟《人工智能法》相似,都选择将高风险人工智能作为规制或重点规制对象,要求其开发者和部署者履行合理注意义务,避免消费者遭受算法歧视。加拿大也提出了《数字宪章实施法》C-27法案,该法案第3部分将引入《人工智能与数据法》(AIDA),AIDA明确要求人工智能系统的供应商应履行一系列与可识别风险水平相关的义务,也即其有义务识别并降低危害风险。同时,针对“影响大”的人工智能系统,AIDA也提出了限制性更强的要求。对此,有学者指出,我国未来进行人工智能立法时,在选择规制方案时应采用基于风险的规制模式。
(二)风险的概念与特征
面对基于风险的人工智能监管方法在世界范围的流行,首先需要回答的一个问题就是何为“风险”。虽然“风险”一词的起源不详,但现代风险概念出现于16、17世纪。一般认为,风险是作为有别于危险、机会和恐惧的概念出现的。“风险”一词有多种定义,从专业的角度看,风险是一种确定的危险发生的概率与该危险可能造成的后果的严重程度的组合。因此,风险可以作为决策的代用指标,其基础是对未来积极和消极事件的预测。这种评估主要通过风险分析的实践来完成,即通过一套方法、模板和流程,帮助相关人员根据未来潜在的机遇或威胁做出合理的决策。
根据国际标准化组织(ISO)2018年《风险管理指南》的规定,一般认为,风险管理(监管)由两个步骤组成:风险评估和风险应对。风险评估是包含风险识别、分析和评价三阶段的系统性过程:风险识别旨在发现、识别并描述影响组织目标实现的风险,核心是理解其性质、特征及当前水平;风险分析需深入考察不确定性、风险来源、潜在后果、发生可能性、相关情景及现有控制措施的有效性;风险评价则将分析结果与预设风险准则对比,为决策提供依据,明确需处理的风险及优先级。风险应对紧随风险评估之后,其核心在于选择和实施处理已识别风险的最适宜方法,相关决策通常聚焦于将过高风险降低至组织可接受的水平。与危险或损害等密切相关的概念相比,风险通常具有几个独特的特点:首先,风险不同于损害。损害通常是已经发生的,而风险是面向未来可能会发生的损害,是否会发生损害、损害何时发生、伤害的程度等都是尚未可知的。即风险作为一种抽象危险,强调的是未来损害发生的不确定性。其次,风险评估通常意味着在集体层面上讨论危害。风险思维侧重社会层面的危害评估,着眼群体与系统而非个人,因此评估过程中会剔除个体差异。再次,风险评估的框架高度理性。其结果是,可量化的危害往往优先于不可量化的伤害。最后,风险蕴含着主动选择或自愿承担的意涵。危险是需要不惜一切代价规避的,而风险则往往会被我们以当前及潜在社会利益的名义选择承担。
从整体上看,风险监管可被视为一种尝试,其通过理性且技术官僚化的方法,促进治理更有效、客观和公平。事实上,根据监管者的最终目标,风险可以作为一种参数,以不同的方式被用来构建监管,监管者的最终目标可能是将风险降低到可接受的水平,也可能是在监管的风险和成本之间取得适度的平衡。值得注意的是,有学者指出,“风险监管”与“基于风险的监管”需要区分,其建议根据风险的实际作用进行分类。因此,严格意义上的“风险监管”将更精确地指向那些以风险本身作为最终规制对象的情形,此时风险构成政府干预的根本依据。相反,“基于风险的监管”将风险作为一种工具,以与实际损害相称的方式确定执法行动的优先顺序和目标。
(三)基于风险监管立法示例:欧盟《人工智能法》
基于风险的人工智能监管可被视为一种促进责任与义务相称的立法技术,其将风险作为一种工具,并依据实际危害程度确立执法行动的优先级与目标指向。欧盟《人工智能法》采用了“基于风险”的监管方法,将人工智能系统按照风险等级划分为不同层级,并根据各层级的风险程度设定相应的监管要求。欧盟《人工智能法》对“风险”范畴的定义相当狭隘,即对“健康、安全或基本权利”的风险。该法的最终风险分类包括几个等级:(1)构成“不可接受”风险的系统将被禁止;(2)被认为构成“高风险”的系统将受到该法一系列要求的约束;(3)构成有限风险或轻微风险的系统必须满足特定的透明度要求。
欧盟《人工智能法》对人工智能的治理规则以及对研发者、提供者的义务设定,都是根据不同风险分级进行设定。具体而言,欧盟《人工智能法》第5条明确禁止了几类人工智能实践,包括:影响人类潜意识、危害弱势群体、进行社会评分、对自然人进行风险评估、爬取面部图像来创建或扩展面部识别数据库、在工作场所和教育机构领域推断自然人的情绪、根据生物识别数据对自然人进行个体层面的分类、为执法目的使用“实时”远程生物识别系统。当然,上述几类禁止的人工智能用例大多存在基于利益权衡而创设的例外情形。以是否禁止执法部门在公共场所使用实时远程生物识别技术为例,该条款起初就存在很大争议,最终在欧盟委员会、欧盟理事会、欧盟议会三方对话后达成一致,最终《人工智能法》允许执法部门在公共场所使用实时人脸识别技术,但必须满足相应的限制条件。
面对一些虽然伴随着高风险,但有益于社会以及公民的人工智能适用场景,欧盟《人工智能法》对其并不禁止,而是通过赋予这些人工智能用例一系列约束与限制,以求达到科技赋能与保障公民“健康、安全或基本权利”平衡的要求。具体而言,该法第6-7条规定了高风险系统的分类及用例调整规则,明确两类高风险系统:一是作为产品(安全部件)的人工智能系统,二是独立的高风险人工智能系统。其中该法附件三详细列举了高风险情形,将其限定在八个领域的应用中。高风险人工智能系统须符合该法第8至15条的“基本要求”,具体包括建立并维护风险管理与质量管理系统、建立与完善数据和数据治理体系、提供技术文件编制与自动记录等内容。为了保证高风险范围的灵活性与适应性,欧盟《人工智能法》进一步规定,欧盟委员会可以基于特定人工智能系统对基本权利、健康和安全造成的风险,更新附件三以剔除或新增高风险范围。
最后,诸如聊天机器人、生成合成音频、图像、视频或文本内容系统、情感识别系统或生物特征分类系统的人工智能系统,被欧盟《人工智能法》第50条归为有限风险。对此类人工智能系统提供者的主要要求是必须提供额外的透明度义务。例如,为避免人们误以为自己是在与人类同伴互动,聊天机器人系统的设计和开发方式必须让接触到该系统的自然人及时、清楚、明白地知晓他们正在与一个人工智能系统互动(除非从使用的环境和背景中可以明显看出)。
三
基于风险的人工智能监管困境:以欧盟《人工智能法》为例
鉴于欧盟《人工智能法》是当今世界第一部人工智能系统监管的法律,其他国家的人工智能立法都无法对其绕开的现实,故在我国尚未颁布立法的背景下,对基于风险的人工智能监管的研究,有必要先以欧盟《人工智能法》作为批判性借鉴的范本。欧盟《人工智能法》采用基于风险的方法,不仅要保护健康和安全,还要保护公民的基本权利。这其中必然会存在一系列冲突,主要表现在以下几个方面:
(一)“权利”风险的计量问题
人工智能风险的影响可能以各种方式出现,不仅影响健康和安全等价值,还影响其他基本权利。鉴于人工智能风险的这种广泛性,欧盟《人工智能法》结合了欧盟法律中已有的两条监管线索。一方面,其受到所谓的新立法框架(NLF)下对某些产品进行监管的安全立法的启发;另一方面,其第二个灵感来源GDPR,尤其是数据保护的影响评估。换言之,欧盟《人工智能法》基于风险的方法并不局限于工程风险管理中典型的技术风险视角,其还考虑了基本权利的风险,如数据隐私和非歧视。
然而,将技术风险视角和权利风险方法两种风险思路结合起来并不容易。风险评估通常包括对风险的估计,即评估风险等级,如高、中或低。估算风险的最简单方法是在风险矩阵中将结果的可能性和影响结合起来。要做到这一点,风险管理者需要了解什么才算高风险。从风险的技术角度看,结果往往可以量化,例如参照身体损害或金钱损失。相比之下,“权利风险”的量化更具挑战性,需要更多的定性方法。从本质上讲,对基本权利的影响难以计算,其更多取决于法律规范性判断,而非计算。换言之,在“权利风险”视角中,最终要保护的是人的权利,这就引入了基于规范的推理。与身体伤害不同,对权利的侵犯不是经验问题,而是法律规范判断问题。
由此可以发现,欧盟《人工智能法》采用基于风险的基本权利保护路径,虽契合人工智能风险特性,却与基本权利保护存在内在不兼容性。基本权利遵循“合法或非法”的二元逻辑,其保护具有绝对性,不容许按危害程度进行线性量化;而风险规制本质上是一种社会层面的集体权衡,其抽象化、标准化的风险评估会消弭个体差异,可能导致重大个体权益损害被系统性忽视。这种根本性差异使得基于风险的方法与保障基本权利存在表面冲突:一方面,风险规制追求社会整体效益最大化,允许为效率牺牲部分公平;另一方面,基本权利保护要求对每个个体的权利侵害都予以绝对防范。对此,有学者指出,基于风险的方法难以与保护基本权利相协调。
(二)通用人工智能风险界定问题
欧盟《人工智能法》第3条第63款将通用人工智能模型定义为:无论模型以何种方式投放市场,都能显示出显著的通用性,能够胜任各种不同的任务,并能集成到各种下游系统或应用程序中。由于通用人工智能模型可用于广泛领域的多种不同目的,因此其提供者预见、评估和降低其具体风险就显得尤为困难。对于通用人工智能模型风险的界定问题,欧盟《人工智能法》仅设定了提供商的最低义务,也即制定和维护技术文档,遵守欧盟版权法,并在模型投放市场前,发布“足够详细”的模型训练内容概要。这些最低标准适用于所有模型,但因其“高影响能力”而被归类为构成“系统性风险”的通用人工智能模型则须遵守额外的义务。这些义务包括进行模型评估、对抗测试、评估和降低系统性风险、报告严重事故以及确保足够的网络安全水平等。但要注意的是,具有系统风险的通用人工智能模型的提供者可以自己进行审计和评估,而不是依赖外部独立的第三方审计,其事先也不需要任何公共许可。
同样值得关注的是,虽然欧盟《人工智能法》将通用人工智能模型构成“系统性风险”定义为“覆盖范围对欧盟市场产生重大影响,或者由于对公共健康、安全、公共安全、基本权利或整个社会产生实际或合理可预见的负面影响,可以在整个价值链中大规模传播”,但欧盟《人工智能法》第51条第2款却选择用与模型训练所依据的数据规模有关的阈值作为判定标准,也即,当一个通用人工智能模型用于训练的累计计算量以浮点运算计大于10^25时,应推定该模型具有高影响能力。可以发现,此种对“系统性风险”的定义与判断标准存在明显类别差异,其判断标准将健康、安全、公共安全、基本权利等社会影响转变为单纯的计算量技术标准。
事实上,“系统性风险”实质上也是一种类似于“权利风险”的风险,其不涉及某种损害发生的概率,而是主要考虑对“欧盟市场”或“整个社会”的影响。然而,欧盟《人工智能法》对“系统性风险”的评估与界定,存在复杂问题简单化的弊病。欧盟《人工智能法》规定,如果模型的训练涉及超过10^25次浮点运算(FLOP),则通用人工智能模型被认为具有高影响能力,从而其符合的“系统性风险”模型条件。可以发现,欧盟《人工智能法》假定,用于训练通用人工智能模型的特别高的计算量会增加其风险。但正如有学者所言,此种判断标准并不合理,其理由在于:评估通用人工智能模型的系统性风险需综合考量多重因素,计算资源规模仅为其中之一,模型应用场景、架构设计及训练质量等要素同样关键。现有研究证实,以10^25浮点运算数作为风险阈值缺乏科学依据,参数规模较小的语言模型可能产生与大型模型同等甚至更高的风险水平。
(三)缺少风险效益分析的规定
风险效益分析作为监管决策的核心方法论,要求对人工智能技术进行双向评估:既要系统识别其潜在危害的严重程度与发生概率,又要全面考量其可能带来的科学进步、社会效益等积极影响。这种辩证评估是构建比例原则下监管框架的前提条件,缺乏对技术正反两方面影响的均衡考量,将导致监管措施要么过度抑制创新,要么无法有效防范风险。特别是在人工智能领域,只有当监管者同时准确计量技术应用的边际风险与边际收益时,才能制定出既保障安全又促进发展的最优规制方案。然而,欧盟《人工智能法》并没有将人工智能系统的潜在利益放在与风险同等高度加以考虑,也即缺乏风险效益分析。欧盟选择基于风险的法律治理路径,强调以安全为主旨,这是由欧盟全球竞争战略以及产业发展落后于美国与中国的现实决定的。但在我国,人工智能已经成为涉及我国政治、经济、科技发展的复合型战略问题,故而,我国人工智能的法律治理对促进人工智能高质量发展尤为迫切。
人工智能监管需要考虑技术创新与社会效益的双重价值,对技术积极影响的忽视不仅背离了基于风险的方法本质,更将导致社会发展与技术进步的重大机会成本。以自动驾驶领域为例,全球主要经济体在制定技术准入标准时,普遍面临安全与创新容错的选择难题,当监管过度追求算法决策的绝对可解释性时,实质上迫使技术研发者在系统性能与合规性之间作出非此即彼的选择——要么牺牲深度学习模型的环境感知优势以满足解释性要求,要么为保持技术先进性而承受合规风险。事实上,欧盟《人工智能法》的立法者可能也并非未考虑到人工智能的社会效益,只不过其并未在条文中明确展现,但其条文表述的这种倾向性很可能会导致法律文本呈现出明显的“风险中心主义”特征,并进而造成规制实践出现价值偏差。毕竟当法律文本对风险防控作出数十项具体规定,而对技术红利仅作象征性表述时,执法机构基于责任规避的理性选择,自然会倾向于采取“防御性监管”的立场。这种现象在行政许可实践中表现得尤为明显,监管者往往严格审查系统合规性,却很少主动评估被规制技术的潜在社会价值。
(四)封闭式风险类别导致涵盖过窄或涵盖过广
欧盟《人工智能法》对附件三中的高风险系统进行了广泛而抽象的分类,其没有根据具体情况进行风险分类,而是使用了一个预先确定的、封闭的典型高风险应用清单。至于在特定部门用于特定目的的人工智能系统是否会对健康、安全或基本权利构成高风险的判断,不是通过对具体场景风险进行评估,而是主要通过在附件三中对典型用例进行预先界定。因此,欧盟《人工智能法》第9条要求的风险管理系统仅在已经归类为高风险案件的情况下是强制性的。可以发现,欧盟《人工智能法》对风险类别本身框架的设定采取了一种封闭式立法,此种以清单为基础对风险系统进行分类的封闭式立法模式,其优点是能够提供法律确定性,但这种分类方法存在不科学与僵化的困境,在本质上很容易出现涵盖过窄或涵盖过广的问题。
事实上,这种基于分类清单的风险分级方法存在局限性。由于高风险人工智能系统的认定完全依赖于一份预设的清单,导致某些实际可能对公共利益构成重大威胁的人工智能应用,可能因其未被列入清单而规避监管。例如,作为侦查工具的反洗钱人工智能系统若是属于欧盟《人工智能法》附件三第6条第e款的情形,也即被执法当局用于人物画像以侦查、调查或起诉刑事犯罪,则可被归为高风险。但若是反洗钱人工智能系统被金融机构用于相同用途,以检测、报告可疑交易,此时由于金融机构并不代表执法当局行事,则无法被归为欧盟《人工智能法》附件三的高风险情形。另一方面,对许多人工智能应用程序又会出现涵盖过广的情形,如数据集重复检测工具或改进语言的工具,又会仅因被用于特定领域,就被视为附件三中的高风险人工智能系统,尽管其并不构成严重的危害风险。
为防止涵盖过窄或涵盖过广的情形,欧盟《人工智能法》也引入了两个主要机制来确保灵活性,即欧盟委员会有权通过授权法案修订高风险人工智能系统清单,以及为人工智能供应商提供法定豁免,允许其在特定条件下将人工智能系统自我评估为非高风险人工智能系统。这些机制的目的是允许对某些人工智能系统进行重新分类,在提高灵活性方面有其作用,但总体不足以弥补欧盟《人工智能法》的缺陷。这是因为,一方面,只有当人工智能用例属于所列的八个标题时,欧盟委员会才能行使修订高风险人工智能系统清单的权力。然而,有时一些人工智能用例难以纳入附件三的八个标题,因为附件三的八个标题本身并不涵盖人工智能的所有的可能应用。另一方面,尽管依欧盟《人工智能法》第6条第3款,提供商或能证明其系统非属高风险,但无法改变这些系统通常属附件三范围,仅在例外情况下豁免,且尚需提供商承担举证责任;同时,允许公司自行评估系统是否符合高风险条件,因将评估权交予被监管对象,被认为制造了“危险的漏洞”。
四
基于风险的人工智能监管方法之完善:理念与措施
正如上述,欧盟《人工智能法》的立法目的,是在降低人工智能系统使用风险、维护创新活力与控制合理监管成本之间寻求最佳平衡。但从实际效果来看,其立法实践与预设目标存在一定差距——这恰恰为我国未来相关立法提供了镜鉴,既需吸收其经验,也应吸取其教训。事实上,我国未来立法要想达成欧盟立法预设的这种平衡,必须树立正确的理念,并采取恰当的措施,避免上述监管过程中的不兼容现象。
(一)基于风险的人工智能监管理念之树立
1.坚持包容审慎监管原则。包容审慎监管旨在追求效率与安全的动态平衡,其要求政府给予新业态必要的发展时间与试错空间。包容审慎监管原则要求监管部门超越传统“命令—控制”型监管的路径依赖,转而采用“成本、收益、机会”的复合分析框架,即不仅计算显性风险防控成本,还需量化监管过度引发的创新抑制成本,更要评估监管缺位造成的社会机会成本。因此,真正贯彻基于风险的监管,要求我们必须坚持包容审慎的监管原则,避免片面、狭隘的视角。例如,以医疗领域为例,一方面,人工智能可能因数据的偏误或算法的瑕疵而输出错误的诊断结论,从而对患者的生命健康产生风险,此即其负面效应的直观呈现;但另一方面,人工智能又能够高效处理海量医疗数据,不仅可以预测和预防疾病,还可以助力医护人员更为精准地拟定治疗策略,大幅提升医疗服务的效能,此为其积极贡献的有力彰显。
值得注意的是,这种全面的评估不应仅局限于短期内人工智能的潜在风险,还应涵盖其长期发展过程中的风险,以及其对社会结构、伦理道德和公共安全等领域的深远影响。与此同时,在对人工智能进行风险效益分析时,必须特别重视人工智能使用不足所带来的机会成本。人工智能的应用不仅有可能带来直接的经济效益,如提高生产力、促进创新、改善决策效率等,而且还有可能通过改变产业结构、提升公共服务、推动社会公平等方式,间接促进社会的整体发展。若人工智能未能得到充分应用或发展受限,社会将失去这些潜在的收益,同时也可能面临由于技术滞后而导致的国家竞争力下降。因此,我国在未来人工智能立法时,必须坚持包容审慎原则,在对人工智能风险设定事前预防性规制与事中事后规制工具的同时,也应通过明确的条文体现关于鼓励和促进人工智能产业发展的政策倾向。
2.坚持技术中立原则。人工智能监管立法既可以选择针对特定技术的方式起草,也可以选择以技术中立的方式起草。针对特定技术的立法意味着立法者需要提及特定类型或类别的技术,这种立法模式更关注事情是如何发生的。而坚持技术中立原则的立法则更加侧重于规范行为和发生了什么,这意味着法律的起草用语会较为笼统、模糊,法律会更强调技术的效果、功能或一般特征,而不会提及特定类型或类别的技术,例如,当前法律对智能投顾的监管通常都会基于既有的金融业规则,并不会仅因为其使用了人工智能技术而对其予以加强监管或者监管豁免。事实上,基于特定技术清单的监管立法需要经常修订,才能跟上技术的变化。相反,技术中立原则的主要目的是确保平等对待具有同等效果的技术,并使法律面向未来,即起草的立法要足够灵活,不妨碍未来的技术发展,并避免不断修订立法的需要。对此,技术中立原则要求监管部门在监管中保持高度包容与审慎,避免过度干预技术服务运行,不歧视或偏袒不同技术,确保相同技术服务得到平等对待,从而为技术服务提供充足的自由发展和创新空间。
基于风险的方法要求,对人工智能未来的监管立法应坚持技术中立原则,其监管内容应是人工智能应用的风险,而不是某种特定技术本身。之所以应坚持技术中立原则,其理由在于,技术中立原则能让政策制定者将注意力集中在其想要以及需要管理的社会动态上,而不是那些与这些监管目标间接相关的技术问题上。换言之,技术中立原则为政策制定者提供了一种途径,将政策制定者的注意力引向技术使用的后果而非技术对象本身,使其能够专注于管理人类行为和组织社会生活。政策制定者的注意力之所以需要放在技术使用的后果之上,是因为预测新兴技术、研究尖端技术的技术细节是一项复杂的任务,需要时间、专业知识和物质资源,而这些对政策制定者而言,很可能难以全面获得与理解。对此,坚持技术中立原则,要求将处理部分技术不确定性的任务,由政策制定者转移到那些具有潜在专业知识来源的更合适的机构,从而确保监管政策是在技术专业知识与监管所需专业知识双重配合的作用下出台。
3.应坚持基于证据的风险评估和分类原则。基于风险的监管有一个显著特征:风险评估与分类必须依托充分的经验证据以及科学明确的方法。在人工智能领域,各类风险常被用于论证监管措施的合理性,因此,确保这些风险得到准确评估和有效分类,是制定科学监管政策的前提。为此,监管机构、标准化组织及其他利益相关方长期致力于研究风险评估框架,探索如何通过科学方法对不同类型的风险进行量化和分类,从而为监管实践提供坚实的理论支撑与指导。这些研究旨在建立一套统一且具有操作性的标准,帮助监管者在面对复杂的人工智能技术应用时,能够合理判断其潜在风险并做出相应的政策决策。不可否认,基于风险的监管方法对可量化的风险最为有效,特别是对于一些能够通过数据模型预测的风险尤其如此,相关监管措施可以通过量化指标进行有效评估和控制。
然而,一方面,许多与人工智能相关的危害往往并不具备直接的量化特征,如人工智能客服在与人类交互过程中对弱势群体的操纵,这些风险因素游离于传统量化手段之外,难以捉摸。另一方面,许多人工智能相关的危害量化过程往往与复杂的社会政策选择交织在一起,使得评估过程充满挑战。这是因为人工智能的影响不仅局限于其技术本身,还直接关系到公民个体基本权利保护、社会公正等广泛的社会问题。这些问题往往难以通过简单的量化模型来准确反映。例如,人工智能系统可能导致的算法偏见或歧视性结果,其影响不仅是数字化的统计差异,更是对特定群体或个人基本权利的侵害,这类影响无法仅通过传统的量化标准进行全面评估。在这种情况下,无论是对技术风险还是权利风险的,在进行评估以及界定风险影响要素时,都应多注重基于证据的实证数据,避免缺乏经验的政策决断。事实上,基于证据的风险评估和分类原则可以为风险评估提供更为扎实的基础,帮助监管者理解实际应用中的潜在问题,避免在缺乏充分证据支持的情况下做出政策决断。
4.应坚持监管负担合比例原则与灵活动态监管原则。基于风险的监管核心在于让义务及其他监管负担与人工智能应用的风险相称,确保监管要求与其潜在危害、影响相匹配——这与合比例监管负担原则的目标一致,即既要有效管控风险,又要避免监管失范对人工智能的创新与合理应用形成不必要的桎梏。对此,基于风险的监管需构建法律框架,使法律义务适配特定人工智能系统的具体风险,避免给被监管者施加过重负担。例如,医疗领域的人工智能辅助诊断系统,因其结果直接关联患者生命健康,偏差可能引发严重后果,对应的监管义务必然更加严格全面,需涵盖数据精准性、算法稳健性、结果验证机制等多维度严格规范;而智能办公场景的人工智能应用,主要聚焦提升效率与优化流程,风险较低,监管负担则可以适度缓和。这种依“风险”定制的合比例监管策略,既能确保人工智能系统安全可控,又可避免过度负担,为创新预留空间,最终实现监管与创新的平衡。
同时,鉴于人工智能技术的快速发展和应用场景的不断扩展使得其带来的潜在风险也在不断变化,故而,基于风险的监管还必须具有足够的灵活性,这要求监管者应当具备动态调整的能力,以便在发现最初的风险评估或分类是错误的情况下,进行追溯调整。事实上,应对风险并尝试监管风险必然涉及对未来的预测,而未来的本质是未知的。尤其是像人工智能这样的新技术,不可能事先完全可靠地评估在特定领域部署人工智能系统的风险和效益。在这种不确定性中,传统的静态监管方法显得不足以应对快速变化的技术环境。对此,基于风险的人工智能监管要求立法者和监管者在整个人工智能系统生命周期内对技术风险进行持续监控。具体而言,监管不仅要在技术研发初期进行评估,也应持续跟踪其实际运行中的表现。这就需要定期重新评估人工智能系统的风险,评估其实际运行中可能出现的新风险,及时采取相应的修正措施,以确保技术不会超出可接受的风险范围。
当然,基于风险的人工智能监管原则并不仅仅限于上述原则,只不过上述原则是以欧盟《人工智能法》为代表的现有立法所缺少与未关注的。同时,仅仅提出指导原则,只是基于风险的人工智能监管落地的第一步,其中更为重要的还是需要解决以“权利风险评估”为代表的难以回避的具体实践问题。
(二)权利风险的评估方法与关键要素
在人工智能时代,随着现代数字技术的发展与应用,产生越来越多伦理性问题,这些问题无疑都破坏了以保障基本权利的宪法伦理价值,有效保护基本权利也因此成为一项日益严峻的挑战。许多新的法律法规在构建基本权利保护体系时,不仅引入基本权利影响评估机制,更通过设定具体的基本权利风险参数,为制定针对性保障措施提供精准指引。事实上,无论是权利风险还是通用人工智能的系统性风险,都亟须一套明确且具有可操作性的风险评估方法。
传统上,法律和社会科学有两种不同的方法来分析对基本权利的影响:“基于权利的方法”和“基于风险的方法”。“基于权利的方法”是一种以权利保护为核心的理念与方法,它强调权利的普遍性、不可分割性和相互依存性,旨在为所有个人提供“最低限度和不可谈判的保护水平”。由此,“基于权利的方法”是二元的,侧重于权利和义务是否受到侵犯。相比之下,“基于风险的方法”侧重于预测不希望发生的事件,并衡量其可能性和严重程度。然而,无论是“基于风险的方法”或是“基于权利的方法”,都无法独自承担对权利风险的评估。一般认为,风险只有被量化分析,才有可能与收益相比较,从而确定可接受的限度。但由于欠缺高质量的数据和有效的模型以及难以准确评估技术叠加引发的风险,故而,对人工智能活动引发风险的量化分析极为不易。为了应对这种困境,当前对“基于风险的方法”的主流理解存在明显的概念窄化倾向,该方法往往被简单等同于对个人可量化损害的概率分析。然而,与环境污染、食品药品安全等领域风险不同,人工智能技术风险在绝大多数情况下,并不会直接对自然人的生命健康产生威胁,对其造成的权利风险无法如其他领域一样直接量化。尝试将生命、财产外的诸如隐私或言论自由等基本权利简化为可量化的数字指标,根本无法体现损害的本质区别。与此相对,“基于权利的方法”立足于规范主义的保护范式,其核心要义在于:基本权利保护的基准是规范违反行为本身,而非损害后果的可量化性。但鉴于这种方法认为对基本权利侵害只存在“是与否”,故其无法具体衡量人工智能风险对基本权利的影响程度。
事实上,基本权利的“侵犯”或“干涉”绝非简单的二元判断,而是存在程度差异的渐进式变化过程。人类在社会互动中不可避免地会涉及基本权利的相互调适,这种动态平衡过程本质上包含着权利限制的层级差异。传统“基于权利的方法”将权利侵害简化为“是或否”的二元判断,忽视了三个关键问题:其一,不同干涉行为对权利核心领域的触及深度存在差异;其二,权利限制的持续时间与影响范围具有可变性;其三,权利主体的恢复能力与救济途径影响侵害的最终程度。因此,对于权利风险的评估,应在“基于权利的方法”的框架中纳入“基于风险的方法”中的要素,使两者相互融合。当前多数评估模型使用的“严重程度”“强度”等概念过于抽象模糊,难以实现对权利侵害程度进行具体量化。为此,应当建立包含侵害深度、影响范围、持续时间、可补救性等多个具体指标的综合评估方法,对基本权利所受干扰的严重程度进行全面合理的评估。
有效衡量基本权利干扰,需要确定适当的参数。一般认为,影响“风险”的因素分为“严重性”和“可能性”。事实上,一旦确定了“严重性”,就较容易量化“可能性”,因为“可能性”基于更多的定量因素(概率科学),而且关于“可能性”的学术研究已经相对精确,不那么模糊。因此,“权利风险”评估的关键就在于“严重性”,但当前评估模型虽“严重性”评估往往依赖于“强度”“严重程度”“幅度”等模糊概念,这些表述本质上是对“严重性”概念的同义重复,缺乏实质性的量化标准。对此,为衡量对基本权利的干涉的“严重性”,需要从多个角度、采用多个指标进行全面的评估。
其一,在判断对基本权利干扰“严重性”时,必须首先考量实证法对基本权利的地位界定。同时,在此过程中应引入各种参数,从客观和主观两个角度,结合定量与定性要素,来评估基本权利受干扰的严重程度。具体而言,首先,应当根据基本权利的类型差异对侵权行为严重程度进行客观规范评价。由于不同类型的基本权利具有不同的价值位阶,例如生命权是现代宪法下具有优先性的权利,作为不可克减的基本权利,其重要性自然高于财产权等其他一般性基本权利。故而,即使是相同的侵权行为,侵害了不同类型的基本权利,其严重性也存在不同。其次,侵权行为本身严重程度需要综合考量以下客观指标:一是行为类型,即侵权行为的方式;二是持续时间,即侵权行为存续的时间跨度,长期持续的侵权通常较短期行为更为严重;三是影响范围,即侵权行为侵害的主体数量以及地域范围。最后,应考虑整个社会、特定群体以及个人对侵权行为严重性的主观感受与认识。这种主观视角的引入是因为基本权利以维护人的尊严为宗旨,其内涵必然随着社会发展而演进,故对基本权利应采取一种动态保护。具体评估时,个人层面需考察受害者的情感反应(如愤怒、沮丧等);群体层面应综合权利主体、义务主体等相关方的认知;社会层面则需参考专家意见和实证数据。
其二,对于基本权利的干扰严重性评估而言,侵权行为对生活环境变化方面的现实后果也很重要,故而,应从金钱损失、受影响规模与福祉以及可逆性等方面分析,考虑侵权行为对受影响的个人、群体的生活以及社会造成的实际后果。具体而言,对个人及社会的不利影响需从多维度构建评估体系:首先是经济损失,不仅包括侵权行为直接导致的财产减损,还需考量间接经济成本;其次是影响时间,需区分短期干扰与长期危害;再次是受影响范围,需评估负面影响的辐射广度;复次是利益损害类型,除生命、财产等较为明显的利益类型外,还需将生活机会剥夺以及社会福祉层面的影响纳入考虑;最后是损害后果可逆性,对此,需结合技术特性、权利类型及社会影响的复杂交互,考察损害后果能否通过技术修复、法律救济或社会调整得以恢复,以及恢复的可能性、成本与时间周期。
需要注意的是,上述确定基本权利干扰严重性的参数并非完全列举,对基本权利干扰严重性的确定,也并非是将上述参数进行简单的数学计算。事实上,人工智能的风险评估框架并非只有一种模式,亦可不以基本权利为基点,而是立足于人工智能本身,从人工智能本体能力强弱、功能作用对象、潜在致害程度、适用情境等维度构建人工智能风险评估框架。之所以试图建构此种结合定性与定量、兼顾主观与客观的综合多要素评估框架,主要目的还是为了对基本权利的干扰行为进行更全面的评估,更好地指导政策制定,以便在瞬息万变的数字环境中加强对基本权利的保护。
(三)风险分类原则化之提倡
正如上述,欧盟《人工智能法》采取了一种封闭式的风险分类立法模式,此种模式不可避免带来涵盖过广或涵盖过窄的困境。事实上,人工智能正在以高度动态化和不可预测的方式改变着社会生产与交往形态,在这个背景下,法律已经无法通过一次性、静态化、刚性化的规则设计来有效应对社会变化。法律如果沿用传统“事前穷尽式”的立法模式,势必会产生内容滞后的风险。因此,有必要采用一种原则性标准来评估人工智能带来的风险,而非全面列举潜在的评估对象。例如可直接规定:“对公民基本权利或者公共利益产生不利影响的人工智能用例被视为高风险,无论它们是嵌入到产品中还是独立提供。”事实上,使用一项原则而非详尽无遗的清单来定义高风险的人工智能用途,并不是要拒绝提供一份人工智能高风险用例的示例清单。对此,可参照GDPR中有关数据保护影响评估(DPIA)的规定。根据GDPR第35条第3款,如果某类数据处理,特别是使用新技术的处理,并考虑到处理的性质、范围、背景和目的,可能会对自然人的权利和自由造成高风险,则数据控制者必须进行DPIA。为了帮助理解, GDPR第35条第3款提供了一份“可能对自然人的权利和自由造成高风险”的处理操作示例清单。
可以发现,GDPR关于DPIA的规定为如何平衡立法的明确性与灵活性,提供了一个合理的示例,也即对风险的分类应采取一般原则性的立法规定,并辅以该原则所涵盖特定情景的非详尽示例清单。对于我国未来《人工智能法》的制定,就风险的分类而言,应避免欧盟《人工智能法》过于僵化的清单式立法,采取此种基于原则并附有示例的“概括+列举”的立法模式。当然,鉴于基于原则的方法可能存在抽象难以落地的问题,对此,除了法定的说明性示例清单之外,监管当局可以主导参与制定相应的适用指南。实际上,基于原则的风险分类方法其本质上是根据不同场景具体确定人工智能风险,此种基于原则的场景化风险分类、规制,不仅有利于人们对人工智能风险进行准确判断,而且有利于法律采取更为合理的风险规制方式。
值得注意的是,对风险分类采取原则化界定方式,其必然将更实质和具体的工作,如标准制定等,留给了各相关标准制定者、具体监管机构和法院等。即使在不完全采取风险原则化的欧盟,在风险层级的划分及各自具体义务的履行方面,欧盟立法者明确依赖标准制定机构制定具体规则与标准。例如,根据欧盟《人工智能法》第40条的规定,一般情况下,对于高风险人工智能系统的提供者而言,当其遵循标准化组织提供的统一标准时,可以假定其符合欧盟《人工智能法》的要求。可以发现,欧盟《人工智能法》赋予特定民间标准化机构极大的权力,其能在一定程度上决定相关人工智能是否符合法定义务。然而,在基本权利保护方面,将标准化制定权下放给这类机构,等同于把公共规则制定权交予私营协会,必然产生问题:一是标准化机构难以独立于被评估方,且不受公众监督和司法审查,缺乏独立性与公正性,易产生监管俘获的问题;二是其欠缺民主合法性,制定程序透明度低、正当程序保障不足,利益相关者参与有限,难以全面调研相关意见;三是其成员多为工程和计算机科学专家,对基本权利、民主和法治等问题知之甚少,缺乏相关知识,也不熟悉法学分析推理方法,难以确定什么是对基本权利的干涉。
因此,就我国而言,为避免人工智能相关技术标准的制定被利益集团所掌控,技术标准制定的较为稳妥的方式是由立法者授权相关行政主管机关主导制定,并在制定的过程中积极向包括人工智能行业公司在内的相关利益群体广泛征求意见。其中,人工智能的相关技术标准应反映公认的技术水平,既要最大限度地减少人工智能系统的设计和开发对公民健康、安全等基本权利以及公共利益造成的风险,又要兼顾人工智能产业的发展和创新。对此,技术标准的起草就不能完全以计算机科学和工程学知识为基础,其必须具有社会维度,相关行政主管机关必须全程参与,发挥其社会治理的专业能力,将基本权利在内的伦理原则纳入人工智能技术标准化的设计之中。
(四)风险监管全流程之提倡
风险防范制度既要基于“风险”本身的性质出发,考虑风险的发生概率、危害范围和程度等,也要考虑风险的事前和事后规制效益,合理配置义务和责任规则。故而,为保证风险分类与监管的灵活性与准确性,除了采用基于原则的风险分类方法之外,还应对不同阶段的风险进行全流程的系统化防控。对此,需要根据风险的不同情境,适用不同的风险监管工具。事实上,风险监管通常由一系列工具组成,监管工具包广泛而多样,大概可分为三类:预防性策略、风险评估和缓解、上市后措施。
风险监管工具包中的第一类工具是预防性策略,这些手段包括法律禁令、许可、监管沙盒等。一般而言,很少有技术被法律禁令真正禁止。相对而言,许可是一种更为常见的预防性监管工具。在典型的集中式许可制度中,专家机构会在某项技术用于影响公众之前,制定其标准并评估其安全性,例如,当前流行的监管沙盒工具就属于预防性监管工具,其允许在执法安全港内使用受监管的技术。
风险监管工具包中的第二类是风险评估和缓解。风险评估和缓解通常要求开发者进行风险分析并降低风险,其既可在公司微观层面也可在市场宏观层面进行。公司微观层面的风险缓解通常需要通过系统设计和开发来应对风险评估中发现的风险,风险评估和缓解通常涉及:(1)分析可能的风险;(2)缓解风险;(3)测试以确保风险缓解措施有效。市场宏观层面的风险评估和缓解是一种覆盖全市场的监管方法,监管机构在整个市场范围内进行风险分析,识别风险及整个市场的风险承受能力,并为特定公司或活动分配风险评分,再根据这些评分分配检查和执法资源。
风险监管工具包中的第三类工具是上市后措施。虽然许多风险监管工具都是在产品或系统被广泛使用之前部署的,但风险监管的工具并不局限于事前措施。这是因为在具有千亿级甚至万亿级参数量的通用大模型面前,事前往往难以精准控制或解释每一个算法的细节。故而,在风险监管的过程中,除预防性措施之外,持续性措施和上市后措施也能发挥重要作用。实际上,许多风险监管工具是在产品已经投入使用后才部署的,这些工具包括可撤销许可证、注册与售后监控相结合、对性能指标的周期性评估等。
我国未来人工智能立法应构建“事前监督—事中干预—事后审查”的全流程监管体系,针对不同风险情景匹配差异化监管工具,以避免监管方式僵化、监管时点单一的技术缺陷。实现这一目标的关键,在于监管机构应充分利用不同类型的监管工具。以许可为例,监管机构有必要根据人工智能的类型、应用场景、对基本权利的影响等多重因素,采取不同程度的“软性”或“硬性”许可,为具有不同风险水平的产品制定不同的许可标准和程序。例如,监管机构可以制定有条件的许可,只允许在某些情况下发布、使用人工智能系统,或者只允许在部署了某些防护措施的情况下发布、使用人工智能系统。再如,监管机构也可以设定可撤销许可证,并利用上市后监测或报告来决定何时触发撤销。弗兰克(Frank Pasquale)等学者就呼吁对某些风险较高的人工智能系统实行“默认非法”,即鉴于高风险人工智能系统带来记录在案的潜在损害,监管许可机构应要求企业在部署人工智能之前证明其符合安全性、非歧视性、准确性、适当性和可纠正性的明确要求。在这种事前监管模式下,人工智能开发者将承担举证责任,证明其技术不具有歧视性、操纵性、不公平性与不准确性。当然,在不适用许可制度的情况下,人工智能事前风险评估和风险缓解也可以从纯粹的自我评估转向第三方监督。
结语
在全球化的今天,随着欧盟《人工智能法》的颁布,世界各国不可避免被卷入人工智能的立法内卷之中。鉴于各国人工智能发展现状存在差异,且我国数字经济发展已为经济高质量发展和全球竞争力跃升奠定坚实基础,我国未来的人工智能立法需紧密契合产业发展目标,尽最大可能在减轻监管负担、促进科技创新与保护公民安全、健康等基本权利之间取得最佳平衡。因此,对人工智能的监管立法,应在批判性借鉴其他国家法律的基础上,采取一种真正的基于风险的人工智能监管路径,进而根据人工智能系统带来的风险确定不同监管要求。
-向上滑动,查看完整目录-
《法学论坛》2025年第5期目录
【特别策划·刑事法理论研究】
1.比较法视野下暂予监外执行制度的立法变革与配套机制建设
董坤(5)
2.第四次刑事诉讼法修改回避制度之完善
韩旭(17)
3.网络时代刑法罪名体系应用的基本立场
喻海松(28)
4.代理型受贿犯罪的识别与规范适用
侯艳芳(38)
【学术视点】
5.“域外法治域内化”命题的理论价值与实践意义刍议
莫纪宏(50)
6.论作为中国特色宪法监督制度的合宪性审查
范进学(61)
7.实体与程序双重视角下遗产债务清偿顺序的反思与重构
房绍坤、毛俊龙(72)
【热点聚焦】
8.论基于风险的人工智能监管
——以欧盟《人工智能法》为视角展开
江海洋(83)
9.个人信息保护刑事附带民事公益诉讼的理论证成与构造优化
丁金钰(96)
10.行政许可事项设定的调整机制及其制度补正
孟星宇(106)
【法治前沿】
11.知识产权转让不破许可的规制模式及中国选择
董春华(119)
12.新时代中国知识产权人才培养厘革的底层逻辑与未来面向
崔立红、李昶郴(130)
13.《民法典》体系下待审批合同的效力解释
范沁宁(142)
14.论数字检察视域下虚假仲裁有效法律监督路径构建
牛正浩(153)
【青年论坛】
15.轻微犯罪记录封存的阶层化路径
王毅恒(164)
《法学论坛》由山东省法学会主管主办,以“繁荣法学研究,推进依法治国”为宗旨,遵循“传播新思想、探讨新问题、交流新成果、宣传新法律、介绍新知识”的办刊思路,立足法学研究前沿,坚持法学基础理论研究与法学应用理论研究相合,刊登法学研究的最新成果,积极为推进依法治国,建设社会主义法治国家提供理论支持和智力服务。《法学论坛》是CSSCl来源期刊、中文核心期刊、中国人文社会科学核心期刊、山东省优秀期刊、华东地区优秀期刊。
点击进入下方小程序
获取专属解决方案~
责任编辑 | 郭晴晴
审核人员 | 张文硕 张科
本文声明 | 本文章仅限学习交流使用,如遇侵权,我们会及时删除。本文章不代表北大法律信息网(北大法宝)和北京北大英华科技有限公司的法律意见或对相关法规/案件/事件等的解读。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.