马长山：人工智能时代的社会风险及其法律规制

作者：马长山

华东政法大学教授、博士生导师，哲学博士、法学博士后。兼任中国法学会法理学研究会副会长，《华东政法大学学报》主编，东京大学东洋文化研究所外国人研究员。先后入选国家“万人计划”哲学社会科学领军人才、文化名家暨“四个一批”人才、“新世纪百千万人才工程”国家级人选、教育部“新世纪优秀人才支持计划”等，国务院政府特殊津贴专家。曾在《中国社会科学》《法学研究》《中国法学》等权威期刊发表论文一百二十余篇，代表著作有《法治的社会维度与现代性视界》《法治进程中的“民间治理”》等。主要研究方向为法学理论、法治发展、法社会学、未来法治等。

一、AI浪漫主义与人工智能的本质

人工智能无疑代表着当代科技进步的最新发展方向，一方面，人们对它把人从简单、重复的劳动中解放出来的图景寄予很高的期待，但另一方面，人们又对它替代人类的“超人”发展抱有深深的忧虑甚至恐惧。如何去定位和掌控人工智能的发展，就成为一个至关重要的时代课题，而其关键又在于人们对人工智能本质的理性认识。

其一，IA不是AI。人工智能AI（Artificial Intelligence）是指通过模拟人脑思维，由机器或软件所表现出来的具有推理、记忆、理解、学习和计划的类人化智能，它能够思考自己的目标并进行适时调整，甚至将拥有足以匹敌人类的智慧和自我意识的能力，“当你命令一个机器人去工作的时候，它却决定去海边玩”。

而IA（Intelligence Augmentation）则是一种智能增强，尽管它也会有自主学习、自然进化等功能，但仍是按照人类输入的代码指令和数据算法，来复制、模仿、模拟人类的行动，以帮助人类挖掘和拓展自身潜能。因此，从一定意义上说，AI可能会取代人类，但IA则不会动摇人类的主体地位。由于目前的技术发展还做不到真正的AI，因此，我们很多时候所指称的人工智能其实只是IA。可见，“人工智能的大多数成就并没那么可怕”，它们更多地是人类所创造的高度自动化、智能化的机器或者工具，虽然这些“机器或许最终能够模仿人类的动作与感受，但是它们毕竟不是人类”。换言之，计算机本身并没有自己的意志，它们只是工程师生产的产品，而不是进化体，因此，“备有终极算法的人工智能接管世界的概率为零。”这就意味着，我们需要按照智能化的高级工具来定位和对待人工智能。那种认为将来人类会接受机器的要素、功能和特征，并“创造下一代真正有意识的机器，一种超越人类的人机结合种族”的预测，无疑带有太多浪漫主义的科幻色彩。不过，作为人类高级工具的人工智能的社会风险，却不能因此受到忽视。

其二，理性审视技术中立。众所周知，技术中立论认为技术并不涉及善恶问题，为了保障技术进步，不应对技术进行过多限制或者过度归责。在硅谷里的流行看法甚至认为，技术的演进由着自己的生命，很多时候超出了人类的控制范围，“计算技术进步的速率持续增加，已经被视作了一种独立的力量。”然而，“技术从来就是好坏参半”，它“既赋予我们创造性，也赋予我们毁灭性。”事实上，技术进步一定是在社会中发生作用而并非真空的，因此，它既具有价值也具有使用价值，并带有研究者（科学界）和利用者（商、业界）的价值偏好。具言之，“人工智能工作者是工具的制造者。我们的表示、算法和语言都是一些工具，用来设计和建立那些展现智能行为的机制。通过实验，我们同时检验了它们解决问题的计算适合性，也检验了我们自己对智能现象的理解。”很多时候，极力渲染技术进步的科学至上主义承诺将天堂带入人间，它“废除所有能够带来稳定和秩序的传统故事和符号，而重新讲述另一个关于技能、技术知识和消费美梦的故事。其目的在于赋予人们特殊的使命，以保证技术垄断永远存活下去。”由此看来，人工智能的发展并不能以技术中立为由来回避它的商业偏好、善恶价值和社会风险，就目前的科学研究而言，“解决AI和IA之间内在矛盾的答案，就隐藏在人类工程师和科学家的决策中”，很多科学家“都有意选择了‘以人为本’的设计。”

其三，坚持人类中心主义。人类的独一无二之处在于，“我们制造工具，而工具让我们走得更远。”特别是近代工业革命以来，可谓人与工具形影相随，但它们都是“死的”机器，即便自动化设备也一些程序化的机械动作。而当下的人工智能发展，则制造出越来越多“活的”的智能机器，它们被输入了人类知识和智慧算法，因此，彼此之间就不再是简单的“人-工具”关系，而是伴有智慧互动情境，人机共处必将成为社会生产生活关系的常态。为此，有西方学者不无忧虑地写道：“19世纪，机器战胜了人类的肌肉；现在，机器正在与人类的大脑角力。机器人兼具大脑和肌肉。我们都正在面对‘被我们的造物完全取代’的未来。”这样，人类中心主义的议题便再次凸显出来。我们知道，在人与自然问题上，非人类中心主义的生态伦理对人类中心主义形成了很大的冲击，但它无非是力图消解绝对人类中心主义的自负，从而善待自然并更好地化解生态危机。如果真的要彻底走出人类中心主义的话，其在现实生活中的可操作性并不强。同样，面对人工智能——“这些未来的机器人甚至比今天的人类更加像人”，但既然人工智能只是执行人类指令、通过算法解决问题的一种智慧性高级工具，其发展就应该以人类为中心、以人为本、为人类服务。因此，“当机器人变得足够复杂的时候，它们既不是人类的仆人，也不是人类的主人，而是人类的伙伴。”这样，如何控制人工智能的社会风险，使其服务于人类就成为科技伦理、机器伦理所必须认真对待的问题。

总之，尽管有人预测不久就会出现彻底解放人类的经济奇点和超越人类的人工智能奇点，也对技术中立抱有浪漫的情结，但在可见的范围内，人工智能仍然是人类的一种工具，最多是一种升级版的、可以“人机共舞”的智慧工具；另一方面，人工智能也确实深刻地改变着人类的生产生活和行为方式，它所带来的颠覆性挑战也不可小觑。因此，我们必须以人类中心主义的关怀，来审慎对待它带来的社会风险，并予以积极的防御和规制。

二、人工智能的社会风险

事实表明，“我们无法真正预测未来，因为科技发展并不会带来确定的结果”，然而，这不等于我们对人工智能的各种挑战无能为力，如果“对即将到来的危险（和机遇）视若无睹也太愚不可及了。”因此，人工智能越是迅速发展、越是渗入日常生活，就越需要认识并正视它的各种风险。

（一）伦理风险

由于人工智能被输入了人类的知识、建模和算法，具有自主学习能力并能够模拟人的智性、行为甚至情感，因此，智能机器人就大大超越了以往没有灵性的机器，能够替代人类来完成一些工作任务，形成人机共处的工作和生活环境。这样，它在“给我们带来无尽欣喜与期望的同时，也逐渐挑战着我们既有的法律、伦理与秩序。”

首先，机器人伦理。智能机器人本没有道德观和伦理问题，“它们只是一种物体，被灌输了程序员为达到特定目的而编写的代码”，即便是它能够形成自主学习和自我升级的能力，也是按照程序员编写输入的代码和算法来完成的。然而问题是，程序员所输入的代码和算法并不是脱离伦理的，人类给智能机器人设定的任务也并非价值无涉的，它们恰恰体现了一定的目标和偏好。因此，“从一个角度来看，我们创造的机器人貌似只是机器而已；而从另一个角度看，它们似乎是复杂而具有适应性的实体，甚至可能对我们在道德关心的问题有着或多或少的敏感性。”如伴侣机器人如何旅行陪伴职责？自动驾驶在面对危急路况时如何来进行研判权衡？更让人担心的是机器人武器的误判误杀，因此“要重申诸如军事需要原则、相称原则、宽恕民众原则等之类的总则并不困难，但它们与具体行动之间存在鸿沟，士兵的判断就是要填补这道鸿沟。当机器人将阿西莫夫的机器人学三条定律运用到实践中时，就很快会产生麻烦。”此外，还存在基于技术局限、操作难题和商业利益偏好的算法“善恶”问题，如算法偏差、算法错误、算法歧视、算法黑箱、以及智能机器人滥用（利用机器人犯罪）等等，这些都会对人类的自主性、自由、公正乃至生存造成明显的威胁，“我们不能将人工智能研究同它的道德伦理后果分离开来。”可见，这些都并非是危言耸听,“如何将人工智能可能对人类造成的损害控制在提前预测的范围内,是法律工作者应当提前应对的重要课题。”为此，西方学者开始探索AMAs（人工道德智能体）的可能性，使其基于规则和责任伦理的可计算性与可实践性，采取自上而下和自下而上式进路向机器人“教导”必要的伦理观，进而通过道德代码的嵌入来降低机器人伦理风险。

其次，人机关系伦理。智能机器人被输入的智性固然是程序化的、无意识的，但它毕竟有了一些可以与人互动的“灵性”，人们也会对智能机器人产生或多或少的、与对待冷冰冰工具不一样的某种情感幻化。为此，有学者指出，“考虑到我们倾向于为这些机器赋予人格，随着它们变得越来越自主，我们无疑会与它们发展出社会关系。事实上，思考人类与机器人的关系，与思考传统的人与奴隶的关系，没有太大的不同。”至少，智能机器人在制造业、服务业的很多方面代替了人类，从一种工具变成了代理人，“那么，既然认识到计算机已经取代了那些本该具有道德约束的人类服务人员，再去避免谈及对计算机系统类似的道德约束就显得不合适了。”因此，如何定义智能机器人身份、构建何种人机关系，发生冲突如何解决，都是需要考虑的问题。其中，“智能行为既不遵循行为与效果之间的直接对应，也不遵循行为与主体之间的必然联系，我们该如何做出一个恰当的道德判定？”这已成为一种根本性的挑战。

再次，人文精神危机。自近代现代性兴起以来，颠覆了千百年来的传统意识和观念，“人类已从中心滚向了X”。

而人工智能的发展，固然增强了人类的活动能力和福利水平，但也加剧了人文精神的衰落。一方面，“计算机网络不断增加着人类之间的分歧，让他们变得孤单而孤立”；另一方面，“大规模取代人类劳动力的智能机器的出现，无疑会引发人类身份认知的危机”，特别是“自由主义者推崇人类生命及人类体验神圣不可侵犯，这样的发展会是对这一信念的致命打击。”进言之，当今已经进入了万事都需大数据分析、一切皆可计算的时代，然而，如果人所有的行为、所有的感情、所有经历的事情、所有认识的人都可以进行量化，如果决策权力从人类手中交给了算法，那么，“用算法来处理人类特有的一些活动，有可能使这些活动丧失最根本的人性”。它会使我们放弃了以人为中心的世界观，而秉持以数据为中心的世界观，这就难免会出现沦落为单纯“数字人类”的社会风险。同时，尽管智能机器人的记忆水平和计算能力越来超过人类和替代人类，但由于智能机器人没有自主意识，这就会形成一个越来越智能但却越来越没有意识的社会，“它引发了一种危险，即我们不再将自我视为目的。相反，我们开始将自己视作为人所利用的装置和被人利用的工具。”因此，我们并不需要过多担心人工智能让计算机像人类一样思考问题，而更让人担心的是“人类像计算机那样思考问题——摒弃同情心和价值观，并且不计后果。”可见，如何来恰当地权衡机会和风险就成为重要的时代任务。

（二）极化风险

从古到今，社会分层和阶级等差一直是人类社会难以消解的社会问题。历次社会革命或者巨大社会变迁，都会消除一些旧的不平等，但同时又产生了新的不平等。而在当今智能互联网时代，“所有的信息资源都能够被智能的计算机软件实体所识别和处理，并且这些软件实体能够自治地、主动地在网络中漫游，具有很好的适应性和可靠性，能够代替用户完成各种工作，并为用户提供丰富的服务。”于是，数据和算法就成为重要的生产要素，它所带来的社会差别会超过以往任何形式的不平等，甚至还很可能会产生极化社会结构——断崖性等差的社会风险。

一是数字鸿沟。一般而言，数字鸿沟（digital divide）是指“在有效使用网络所需要的技能方面，比起仅仅去访问网络，或许有着更深刻的阶层分化。”

随着人工智能的崛起及其与互联网的加速融合，数字经济成为主导，商业平台成为新业态，“赢者通吃”成为新规则，于是，社会身份和财富就不再仅靠劳动和投资来获取，而更多地是通过占有信息、数据和赢得算法来迅速变成商业巨头和富豪，数字鸿沟就转换成等差鸿沟，而且，身在底层就很难翻身向上流动。由此，就形成这样一种局面：“所有的数据都由我们自身产生，但所有权却并不归属于我们。” 为此有网友感叹：“个人隐私就算瞒过了枕边人，也瞒不过互联网公司。”海量的消费信息也在购物的同时被记录下来，你的偏好和习惯在不经意间就可能被他人获知，这些数据也为某些人提供了“便利”。这样，运用计算能力作为销售工具的趋势越来越势不可挡，并“正在将你的生活转化成他人的商机。”它甚至还会形成数据垄断和算法歧视，导致一些商业平台存在着较为普遍的“大数据杀熟”现象，即所谓“最懂你的人伤你最深。”

二是贫富极化。在以往社会中，大多数人的财富积累都要经过几十年甚至几代人的努力，并且数额有限。而如今智能互联网时代，技术精英与资本精英相融合，其财富积累可以在几年时间中即可迅速完成，而且落差极大，动辄就是亿万甚至几百亿、几千亿。腾讯、阿里、滴滴、顺丰等等，都是成功的典型，这就形成了贫富极化现象。可见，那些“数字精英（digerati）所承诺的大多数东西并没有带来自由、平等和博爱。”事实恰恰表明，“随着算法将人类挤出就业市场，财富和权力可能会集中在拥有强大算法的极少数精英手中，造成前所未有的社会及政治不平等。”

三是“无用阶级”。人工智能的发展会大面积取代简单、重复性的人力劳动，造成大量的失业。然而，在技术制胜论者看来，火车的出现消灭了马车夫，但却创造了铁路工人，这是工作岗位的换代升级。2013年就有研究者称，到2020年，机器人产业在全球范围内直接和间接创造的岗位总数将从190万增长到350万。2014年修正为“每部署一个机器人，将创造出3.6个岗位。”然而，“那些所谓的增加并没有在传统生产力相关的数字中得到体现。”这里有一个与火车出现非同类比的关键问题是，从农业社会转向工业社会，是体力劳动之间的平移；人工智能革命则是从体力向脑力的升级。我们想象不出，已被智能机器人取代的靠体力吃饭的快递小哥，会重新从事何种部署机器人所创造出来的更高级的脑力劳动岗位？他们的文化水平、技术能力如何达到升级的程度？事实情况也许会相反，会形成由技术精英、资本精英和政治精英组成的很少一部分有价值的特殊阶层，“这一少部分人的工作足以创造巨大的价值，而大部分人其实很难在现有的经济体系下创造价值。”如果这样发展下去，几乎人人不工作、精英拥有智能机器的世界将会充满根深蒂固、令人难以置信的巨大不平等。“有权优先获得这些技术成果的群体可能会逐渐跟其他人分道扬镳，变成独立的种群。”这些特殊阶层的精英将会拥有前所未有的能力及创造力，“他们会为算法系统执行关键的服务，而算法系统既无法了解也无法管控这些人。然而，大多数人并不会升级，于是也就成了一种新的低等阶级，同时受到计算机算法和新兴的超人类的控制主导。”这样，人类社会就很可能分成两大阶层，一个是非常少的、“升级”后的精英阶层，他们就像上帝一样，在创造大量的人工智能机器人，而绝大部分人将变成没有任何经济价值的“无用”的阶级。人们不禁要担忧：“21世纪经济学最重要的问题，可能就是多余的人能有什么用。一旦拥有高度智能而本身没有意识的算法接手几乎一切工作，而且能比有意识的人类做得更好时，人类还能做什么？”如果一旦大多数人变成无能的大众、被消费的大众和被废弃的大众，社会秩序就必然随之陷入危机之中，这是必须予以警惕的。

（三）异化风险

智能互联网的发展呈现出加速回报定律，因此，对资本精英和技术精英具有极大的诱惑力。他们通常以技术进步论来描述一个更幸福、更富有、更安全的世界，“然而，这些企业通常都不太愿意谈论自己的愿景，特别是人工智能更加讳莫如深”，更不用说人类危机了。“这或许可以理解，但其实很危险。” 事实上，人工智能技术存在一定的异化风险。

其一，人工智能的负面后果。目前，智能互联网的负面后果已较为突出，如信息链接与国家安全问题、大数据与隐私保护问题、区块链与金融风险问题等等。可见，“数字化世界密集性和复杂性的背后，风险将如影随形”。我们编写算法，把它输入机器，“当算法引发了一些自动动作（比如购买股市的股票），人类被排除在循环之外，只能被动接受结果。”然而，“危险在于没有人能确保该算法设计准确，尤其是当它与众多算法交互时。”因此，在人工智能的代码编写和算法建模中，“更容易看到一些微小的疏漏以让人无法预料的序列连续发生，就有可能变成更大的、更具破坏性的大事故”。

其二，人工智能的异化发展。对智能互联网的发展，自始就存在着不同的看法。有学者就指出，如今人类已经由工具运用文明、技术统治文明而进入了技术垄断文明阶段，“其思维体系缺乏卓越的叙述手法，因此既无法提供道德支柱，也缺乏强有力的社会机制，以管制技术产生的‘信息洪水’。”其结果是，“互联网不仅没有受到公众的控制，反而摇身一变成了控制者”。同样，人工智能“这些自动化系统已经由简单的行政管理工具变成了主要的‘决策者’”。但算法也会出现连程序员也难以理解的“算法自主”问题，因此，“如果设置不当，或者没有恰当的法律和规则来约束，都可能对人类造成巨大伤害。”即便是看来立意全然善良的程序，也不能排除带来令人恐惧后果的可能。更何况，人类一旦把决策交给了算法，就会形成一个算法统治的世界，这“无疑会引发人类身份认知的危机。”

其三，人工智能的滥用。目前，利用互联网进行高技能犯罪现象确实越来越突出，打击犯罪的压力越来越大。而最大的忧虑是，“和所有技术一样，人工智能可能会落入不法之徒手里。”这些“集复杂性与紧密性于一体的系统更容易成为那些间谍、犯罪分子以及追求极大破坏性的极端分子的选择目标。”因此，需要对网络犯罪、黑客、暗网、流氓软件等进行必要的打击和风险防控，也包括对人工智能机器人的设计进行规范,尤其要对其所包含的程序进行一种事先的审查，防止其被植入恶意程序，以有效控制人工智能可能引发的异化影响。

（四）规制风险

智能互联网的深度发展，深刻地改变了传统的经济业态、组织形式和生活方式，社会秩序也发生了重大变革，代码和算法成为新的规制方式，因此，“网络世界内在和外在的权力正在迅速向硬件和软件的设计者迁移”，这就进入了“无处不在的计算”时代，出现了“监视无处不在的国家”之势，从而产生一定的规制风险。

首先，“黑箱社会”日益加剧。人工智能技术的应用，是通过代码和算法来实现的。程序员都是构建主义者，他们建立、测试和改进模型。然而，大多数智能系统都是不透明的，这意味着它们可以规避审查。“设计者有时并不公开源代码，因此，用户们无法看清其中的规则，无法提出不同意见，也不能参与决策过程，只能接受最终的结果。”于是，这些算法都被装进了“黑箱”，用户无从了解它们的工作原理，由此一来，算法不仅仅是在预测和解决问题，“还有助于控制用户的行为。”可见，黑箱代表着信息时代中的一个悖论：“无论是从宽度还是广度而言，数据的延伸速度都非常惊人，但有些会对我们产生重要影响的信息却只有局内人才能获得。”基此，“黑箱社会”的倾向便随之而来，一旦设计开发者在算法黑箱装进了过度的商业资本追求、价值偏好和不公正因素，那么，凭借算法来侵蚀大众权益的情况就会变得日益普遍化。

其次，“算法战争”时常发生。在智能互联网时代，人们把一些决策权力交给了算法，于是，导致“制定标准、制造硬件、编写代码的人拥有相当程度的控制力量”，商业竞争也就演化为对代码和算法的竞争。事实上，从20世纪90年代末开始，在金融市场就出现了“算法战争”，形成一种非公开的隐藏漏洞的私人市场“暗池”。如今，商业领域中的智能系统优势争夺依然十分激烈，“算法战争”在很大程度上决定了谁是赢家，但是规制却比较脆弱。

再次，“监控国家”的诞生。“黑箱社会”和“算法战争”无疑会带来秩序和公正问题，因此，就为国家的介入规制提供了理由和机会。这样，“随着代码编写的日趋商务化——即代码编写逐渐落入到少数几家大公司中——政府规制代码的能力也就随之增强了。”一方面，国家介入规制能够促进“黑箱社会”转向“可被了解的社会”，促进社会公平和维护社会秩序；但另一方面，它也很容易成为公权力扩张的合法性根据，成为一个“老大哥”的化身。而当我们漫游于智能互联网快捷、方便的服务中，就已发现到处都是探头，随时都可能“刷脸”了，似乎置身于巨大无形的浏览器之中，留下一大堆缓存数据，变成了裸奔的“玻璃人”、“数字人”。于是，人们开始怀疑，“人工智能通往的是更完善的民主，还是更潜伏的专制？永恒的监视才刚刚开始。”因此，“我们必须监控‘老大哥’！”从而缓解规制异化的风险。

（五）责任风险

人工智能的快速发展，必然大量代替人力劳动，出现人机共处、行为协同、后果混合的情况，汽车自动驾驶、医疗机器人等就是如此。这样，“计算机系统执行任务并且它们这么做的方式有着道德后果——影响人类利益的后果。”于是，应该赋予智能机器人何种身份地位？它应该在什么范围内承担什么责任？或者，谁来为机器人的行为负责？都是十分棘手的问题。事实表明，“随着机器在普通人的生活和工作中的普及，通过机器使行为和责任脱钩日益成为普遍现象。越来越多的人将失败的责任转嫁到机器身上。”但同时，由于“社会追求的是最小化我们责任的技术，而不是最大化提高效率的技术，也不是最大化我们责任的技术。”因此，也不宜过于扩大系统设计者和使用者的责任。

然而，如果我们把智能机器人视为一种通过算法而形成的机器代理的话，就会发现“设计师做的事和计算机做的事（在一个特定的环境下）是不一样的，尽管联系很紧密。认为只有人类设计师才是道德主体是没有认识到科技和计算机系统限制、简化且大体上塑造了人类行为。”这样，在利用智能机器人的医疗事故、自动驾驶的交通事故、无人机误判恐怖分子错杀平民等问题上，就可以原则上将这些错误或不当行为回溯到软件设计者或者程序员，不过，“我们都知道一个产品可以追踪属于哪个厂家,但程序是不一定的,有可能是由众多的人共同开发的,程序的产生可能无法追踪到某个具体的个人或组织。”这样，就出现了责任困境和风险，需要予以解决。

三、人工智能风险的法律规制

当今世界已经进入了科技高速发展的时代，但同时也迈进了亟需进行现代性反思的风险社会。而人工智能又颠覆了机械和有机之间的界限，“已经对‘风险’的性质、社会条件以及由其产生的各种制度带来了一系列转型性的后果”，其“控制风险所要求的速率和速度使得人类越来越没有能力去掌控技术。” 然而，这并不意味着我们悲观地、消极地对待社会风险，更不能反对技术进步、回归传统，而是说要在拥抱技术进步的同时，切勿过于浪漫和“乐不思蜀”，恰是应理性地防范由此带来的社会风险，才能更好地享受技术进步的成果与福利。

（一）塑造风险社会的法律理念

世界上没有绝对的安全，任何时候都存在着一些可能的风险，只不过工业时代之后，才因环境污染、超级细菌、核技术、基因技术、进入了风险社会，这就需要通过“风险计算”来提供可预测的安全。因此，面对人工智能的各种社会风险，法律进行介入规制的时候，就应确立必要的风险社会理念，进行有效的风险控制。

其一，坚持政府干预的合法性。科技发展总是以进步的旗号，在资本力量的推动下实现对旧业态、旧秩序的“破窗性”挑战，并反对国家干预或管制。技术至上论、技术中立论在当初的滴滴打车上线、快播案中已表现得很明显，面对如今的人工智能也同样如此。可见，技术管制的“最大障碍之一就是已经广为传播的、技术进步无法被管制的信念，这种信念认为，所有这样的努力都将弄巧成拙、注定失败。这一论断令特定技术拥趸及渴望从技术进步中获利的人士欢欣鼓舞，但对希望放缓有潜在危险的技术传播的人们来说，它令人失望。” 而事实上，基于科技发展的规律，“科技在某一时期挑战政府的权威，但讽刺的是，不久以后就会重新欢迎政府的加入。” 从世界范围内来看，“许多危险和有伦理争议的技术事实上已经处在有效的政治管制下，包括核武器及核能、弹道导弹、生物或化学武器、人体器官移植、神经医药学药物等等，这些都不能够自由研发或在国际范围内进行交易。”这些政府管制举措，无疑是防控科技风险、确保人类安全的现实需要。

其二，确立风险控制的基本原则。在科技风险面前，有两个主要原则——成本效益分析和预防原则。前者存在着规模不可全部适用、不够精确、轻视生命、对后代考虑不够、决策不民主等诸多问题；后者则存在着权力过分干预、“不计代价”的替代性风险、阻碍技术进步等问题，二者都不是完美的方案。然而，鉴于人工智能时代的“人类变成了制定规则的上帝，所有伴随人类进化历程中的既定经验与认知沉淀将遭遇颠覆性挑战”，这就会带来太多的风险不确定性、“风险计算”的复杂性和风险后果的灾难性，因此，预防原则“放在以法律手段应对科技风险的中心位置。”只不过，我们要清楚，“风险总是要规避的，但是积极的冒险精神正是一个充满活力的经济和充满创新的社会中最积极的因素”，故而，这一原则应遵守不妨碍科技创新的干预底线，保持公权力的谦抑品格和为民精神，防止滥用或者扩大适用。

其三，厘定对风险的容忍度。社会风险往往被界定为对发生“坏事”概率的计算，它可以被进一步量化为这种“坏事”的分布密度（严重程度）与范围（如受影响的人数）的概率乘积。而对这种风险的容忍度，则主要是指人们获得有益的技术进步福利时，所能够容忍和付出的合理代价，它是判断安全性和技术受纳的重要标准。从低标准来说，如果某一事物所附带的风险是可接受的，那么它就是安全的；而从高标准来说，只要某种风险还能被进一步降低，那么该风险就是不可接受的。这些标准的判断和衡量，应从背景分析（contextual analysis）、公平性评价(equity assessment)、公众偏好分析(public preference analysis)三个层面来进行，进而厘定人们对人工智能可能发生“坏事”概率的容忍程度，并基此确定国家法律的干预范围和尺度。

其四，设置风险控制的决策程序。事实上，法律是对人工智能等科技风险的防控，在本质上是两个价值世界之间的碰撞，即“技术自身的功能价值由技术客观属性所决定，技术所产生的社会价值则由社会规范所决定。”因此，需要基于技术价值和法律价值的碰撞而进行重构，来“解决技术所引发的规则原理和规范构建问题。”这一进程中，往往需要依靠技术专家的力量，因为“在关于风险，以及实际的或者建议的政策应当做什么的问题上，普通人的直觉提供不了可靠的指导”；然而，技术专家又不能忽视公众的信任和支持，因此，“未来的任务就是建立和发展既顾及人们的价值观，又不对他们的错误做出反应的机构。”这一决策程序，是风险社会中十分重要的安全阀。

（二）建立多元互动的风险规制体系

随着智能互联网的深度发展，出现了大平台和微时代的诸多新业态、新模式，基于数据挖掘分析和建模算法的各种“量身定制”及“一对一”服务逐渐成为常态。此时，商业交易和社会关系变得日益差异化、复杂化和精细化，因此，也就要求规制体系既要保持稳定性，也要保持灵活性；既要能提供原则性指导，又能展现精细化规范。这样，就需要建立多元互动的风险规制体系。

首先是法律规制。无疑，“尽管这些技术已经让人兴奋不已，并且可能会带来巨大的好处，但它也可能对我们现在所熟悉的社会造成巨大的破坏。如果我们要掌控这些技术所能带来的好处以及它将给社会带来的挑战，那么我们的社会需要认真考虑并建立一套指引这些技术发展的标准和政策。”目前，各个国家都开始从技术鼓励、政策应对逐步走向制度规制，如德国《联邦数据保护法》、加拿大《个人信息保护法案》、法国《数字共和国》、英国《2017年数据保护法案（草案）》、欧盟《通用数据保护条例》(GDPR) 等等。而我国也已颁布了《网络安全法》，先后发布了《国家信息化发展战略纲要》、《新一代人工智能发展规划》、《智能制造发展规划（2016-2020年）》、《高等学校人工智能创新行动计划》等等战略规划，相关的立法也势在必行。就是说，“我们需要制定和论证新政策（法律、法规和关税）以规范各种新情况。有时，我们可以预见技术的使用将产生明显的不可取的后果，尽可能多的是，我们需要预见这些后果并制定政策，最大限度地减少新技术的有害影响。”特别是对人工智能机器人的设计进行规范,对其所包含的程序进行一种事先的审查,防止其被植入恶意程序，以有效控制人工智能可能引发的异化影响。只是这些政府的规则之治，应当提供原则性、方向性指引，而不是事无巨细的干预，以维护其稳定性和权威性。

其次，是伦理规制。科技发展是离不开打破常规的自由和创新精神的，因此，“在大多数情况下,设计师们都不会理会使用计算机技术所引发的伦理问题。”这样，就使得人工智能行业中道德观的不足，从而导致“当前产品规范化应用标准的缺失，尤其在设计生产层面更是如此。”更有甚至，一些代码和算法的秘密操控技术，反而使得“最没责任心的从业人员会得到最多的专业技术。”由此看来，对人工智能的社会风险防控，除了法律的规范指引外，还需要可靠的科技伦理支撑，因而，这就要求构造一个人工智能的伦理框架，“在这个框架中，信息圈会被当成一个值得受到道德关注，并关心居于其中的信息体的新环境。这个道德框架必须能够解决新环境中产生的前所未有的挑战，它必须是整个信息圈的电子环境保护伦理。”这一方面要求，将道德算法是嵌入在算法体系中；另一方面也要求，在人类主体和智能机器人的互动情境中进行必要的道德建构。只有这样，才能更有效地抑制把不公正、不道德的因素渗入到代码和算法之中，从而化减人工智能的社会风险。

再次，是行业规制。迅速发展的人工智能已经成就了一个遍布全球的先锋行业，其中充满了机遇、合作和竞争。由于国家的法律规制只能是宏观的原则性指引，因此，更精细、更灵活、更体现差异化和创新趋势的规制，则需要通过行业规范来实现。事实上，随着人工智能的进一步深度发展，行业上的防御知识和防御技术会跟随风险一起变得更复杂和更强大，因此，“接下来的任务是迅速发展必需的防御措施，其中包括道德标准、法律标准和防御技术本身。这显然是个竞赛。”它无疑是人工智能健康发展的重要保障。

最后是自律规制。代码和算法是人工智能的基础和关键，它们决定着智能机器人的识别判断、逻辑能力和行为方式。也就是说，对于人工智能和互联网领域，“代码作者越来越多地是立法者。”这样，规制人工智能的社会风险，就离不开设计开发者的自律规制，他们也应该为自己的发明所造成的影响负责。为此，美国《为人工智能的未来做好准备》第一条就建议：鼓励私人和公共机构自我审视，判断自身是否能够，并通过何种方式负责任地以造福社会的方式利用人工智能和机器学习。这无疑是十分重要的。

（三）确立“过程—结果”的双重规制策略

应当说，法律自古就发挥着规范秩序和控制风险的重要作用，但从没有像今天这样面临如此众多而严峻的挑战和风险。我国《新一代人工智能发展规划》就明确指出：“人工智能是影响面广的颠覆性技术，可能带来改变就业结构、冲击法律与社会伦理、侵犯个人隐私、挑战国际关系准则等问题，将对政府管理、经济安全和社会稳定乃至全球治理产生深远影响。在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。”然而，对人工智能采取何种规制策略，则是一个需要审慎考虑的问题。

在以往的农业革命和工业革命过程中，社会变迁基本都是在自然所赋予的物理空间中进行的，而如今具有颠覆性的信息革命，则打造了人类发展从未有过的虚拟空间，从而形成了双层空间、虚实同构、人机互动的发展格局。其中，人工智能的高速发展塑造了智慧社会，并在社会管理变革中实现了执法司法的智能化，数据、代码和算法发挥着重要作用。此时，我们对人工智能的风险控制，就不宜再采取传统单一物理空间的习惯方式，尤其不能按照物理空间的规制逻辑来规制虚拟空间，不能用套用对待机械工具的思维来对待人工智能，而应实现与之相适应的规制范式转换。从目前的世界发展趋势看，“当代知识产权的控制技术也在发生调整，更多通过代码而不是法律的手段进行，或者说，法律本身也更多以代码的形式出现。最核心的就是。从外在的规制（物理空间规则）转向内外并重的规制（双重空间规则），从对代码和算法结果的规制转向对代码和算法过程本身的规制——也即通过把法律规则转换成代码，并以代码来规制代码的“法律技术化”，以及重视“代码就是法律”这一行业规则的“技术法律化”，来实现代码规制、算法审计和规范标准设置，从而嵌入体系化、制度化、过程化的风险控制机制，促进人工智能的健康发展和构建智慧社会的法治秩序。

总之，人工智能是人类实现自身解放的重大机遇，但机会与风险总是结伴而行，也许只有当我们能够真实地去面对这些机遇与风险，“划定它的边界和围栏，而不是回避它、否定它和阻止它的时候，我们才能真正迎来这个可以被计算的世界，一个由算法定义的世界。”无论如何，人类和机器将越来越多地分享同一个世界，因此，“一个更为紧迫的问题是，我们该如何去定义人类与那些亦敌亦友的机器间的关系。”

来源《法律科学(西北政法大学学报)》

编辑：晓峰