观影《极限审判》：当人工智能成为法官会发生什么？

最新上映的影片《极限审判》（Mercy）将由人工智能法官进行自动化审判的未来场景搬上了大银幕。

在不远未来的2029年8月14日，位于美国加州洛杉矶的人工智能法庭Mercy开启了第十九场审判，被告人正是最初协助建立法庭的雷文（Raven）警官。雷文被控杀死了他的妻子，各项证据表明，他作为凶手的可能性高达97.5%。要想成功地为自己辩护，他必须在90分钟的时间内将这种可能性降低5%，从而建立“合理怀疑”，否则倒计时结束他就会被自动执行死刑。影片的长度恰好也是90分钟，雷文虽然否认自己是凶手，却因为醉酒失忆，于是证据展示也是探寻真相的游戏开始……

撰文｜毕洪海（北京航空航天大学法学院）

真相存在于黑白之间

影片的故事情节具有科幻的性质，但是在法律未来主义者的眼中，随着技术的快速进步，以人工智能取代人类作为法律决定者的“法律奇点”时刻正在无限接近。影片的整体基调是警示的，犯罪与刑罚涉及太多的灰色地带，无法完全交由人工智能法庭裁决。

我们经常看到的美剧桥段是：当律师在盘问证人时，证人只能回答是或否。这种只能二选一的方式，似乎完美契合计算机的二进制语言。人工智能法官马多克斯（Maddox）也只相信事实，“人人都会撒谎，只有事实是非黑即白的。”然而雷文警官告诉她，真相是存在于黑白之间的。事实是客观存在或发生的事和物。雷文警官与妻子发生了争执、餐刀上留有他的指纹、妻子死亡前口中呼喊他的名字、两人的感情已经出现了危机，所有事实都可以通过文字或录像再现。然而真相就是雷文杀死了自己的妻子吗？

因为并不存在直接的事实证据，所以人们对于真相只能是基于既有事实的认知和建构，难以完全避免主观性，甚至无法完全摆脱经验、知识和立场的影响，从既有事实中构造出不同的认知。影片中人工智能法官马多克斯的两次错误，都是被人有意识地利用事实构造出犯罪的“假相”：第一起审判是人为毁灭了证明被告无罪的事实，第十九起审判则是人为构造了陷害被告的事实。人工智能只能根据其所见推断表面上的真实，至少说明了其无法识破这种精心设计的骗局。若是在死刑审判中，一个人工智能系统制造冤假错案的概率是十九分之二，这是任何一个法律体系都不可能容忍的。相比之下，一个人工系统若是放纵漏网之鱼的概率是十九分之二，我们是否会更乐意选择后者这种有瑕疵的系统呢？

电影《极限审判》剧照。

不受偏见左右可能也意味着无法共情

当然，可以说人工智能法官的错误都是人类的错误，只要能够保证证据的全面、真实和客观，并非人工智能系统本身的问题。人工智能系统的优点，恰恰是因为不受人类情绪的左右，例如法官的心理、律师在法庭上的表演以及陪审团的愤怒等，可以做出完全客观中立的最终判决。影片中的雷文警官，正是因为造成自己搭档之死的被告被陪审团无罪释放，成为了Mercy法庭最初的建立者和忠实的执行者。除此之外，影片似乎也在预设人工智能法庭在效率和效果方面的优点，相较于传统刑事审判拖沓的程序设计，人工智能法庭为政府节省了数十亿美元，而且洛杉矶的犯罪率下降了68%。

自近代早期以来，在自然科学的影响下，通过精密技术增加法律的确定性，以自动化的法律机器排除法律适用中人类因素的影响，一直就是许多思想家的梦想。其形态诚如二十世纪初马克思·韦伯所述：“现代法官就像一台自动售货机，人们把文件和费用从上面扔进去，法官就会从下面吐出判决书和多少具有说服力的理由。”我们在日常语言中经常见到“情理法”三者并用，或是“法不容情”这样的表述。法官的恣意、大众的情绪在法律适用中往往都是被作为负面因素看待的，所以必须通过法律和程序加以约束。

而在计算法律学的视野下，为了便于人工智能技术在法律领域更普遍的应用，未来的立法应该具有充分的技术意识，尽可能采用计算机能够识别和理解的方式加以表述。然而到目前为止，在全世界范围内，完全自动化的情形只在少数行政领域得到了明确的允许，这些领域的行政决定往往数量众多、规则清晰且是反复出现的同类案件。鉴于法律本身是一种带有价值导向的体系，法律的语言中存在模糊之处，因此当规范通过数据或者计算机程序进行转译时，有可能存在价值上的损失，甚至以数据驱动的自我学习的人工智能系统，可能会引入数据中存在的偏见。所以当涉及到模糊的语言、开放的文本和价值权衡的时候，应该禁止由人工智能系统完全自动作出决定，当决定关系到宪法上所保护的重要权利时尤其应该如此。最典型的如德国《行政程序法》第35a条和欧盟《人工智能法》第5条关于禁止使用人工智能的情形。

即便前述问题可以经过技术迭代得到解决，人工智能的自动化决定取代人工决定，还意味着“同理心”无法在法律适用中发挥作用。同理心并非一种情感，而是一种能够承认、回应和理解他人处境的能力，当涉及到少数弱势群体时更是如此。所以影片中一个颇为令人回味的情节是，人工智能法庭的建设者和执行者雷文警官，最终自己坐到了被告席上，让其与其他十八起案件的被告“感同身受”。同理心是目前尚未发展出（或许永远也无法发展出）人类情感的人工智能所不具备的。当然，如同所有人类的情绪一样，同理心更容易在具有相同身份的人之间产生，即“像我”，同理心也意味着其可能产生偏袒。但是真正的问题不是应否发挥同理心的作用，而是如何防止同理心被滥用。

电影《极限审判》剧照。

从人机对抗

到人机合作

人类和人工智能的相处方式并非只有彼此替代一种模式，影片还给我们展示了从人机对话到人机合作的模式，善加利用人工智能当然可以增强人类自身的能力。雷文警官利用自己身为专业执法人员的直觉和理性冷峻的人工智能法官，从最初的法律论证，即雷文警官是否有罪，发展到协作寻找案件真相，最后则是合作阻止犯罪的发生。

直觉是一种让人瞬间感知和快速反应的能力，雷文警官的直觉告诉他哪里不对劲，但直觉往往是跳跃的，缺少细节和证据的支撑；人工智能法官马多克斯则运用理性分析的过程，逐个排除相关因素，预测引爆装置失效的概率。人工智能所缺少的关键功能正是像人类一样的意识和情感，人工智能也无法应对系统中没有预先设定程序的突发事件。即便是目前拟人化人工智能所提供的情感共鸣，也只是基于数据的模拟。因此人工智能技术的努力方向之一就是模拟人类的情感和直觉。当雷文谈到自己对妻子的爱时，马多克斯甚至以嘲弄的口气说那不过是一种因为多巴胺分泌所带来的生理现象，而作为一种生理现象就是可观察和感知的。

但在影片的最后，人工智能法官马多克斯似乎呈现出惊讶、慌乱甚至被雷文的恳求所打动，当载有雷文女儿的卡车冲向Mercy法庭时，人类的应对方式是毫无情感的理性计算，决定摧毁卡车以保全人工智能法庭，而马多克斯似乎利用自己的能力让爆炸装置失灵了。尘埃落定之际，雷文反问了一句：我们全都是按照规定的流程行事的？或许对于人工智能来说是如此，然而人生不可能是被预先设定或可被随意改写的程序代码，也不完全是行走在预定的轨道上，人生是五颜六色的，每个人都需要有情感来填补内心深处的空隙。

电影《极限审判》剧照。

“宽恕法庭”真的实现了宽恕吗？

影片中人工智能系统的设定还突破了两个非常重要的约束条件。第一个是现实约束。人工智能系统能力的发挥有赖于可获取的海量数据。影片设定的人工智能系统马多克斯是一个全能性（omnipotent）的数字利维坦，可以获取所有监控录像的信息，可以访问诸如私人电子邮件、短信、Instagram社交账号等任何网络信息，可以轻松绕开私人密码，可以随时打通任何一个人的电话。马多克斯唯一的不足则是通过物理世界的空中警察小队来补充的，这支队伍可以迅即抵达任何规定的地点。这样一个人工智能系统同时也是一个全面的监控系统，不仅可以用于审判中的调查取证，同样也可以用于预测犯罪。这不禁让人想到《少数派报告》（Minority Report）中预测犯罪的“先知”和美剧《疑犯追踪》（Person of interest）中的“机器”（The Machine），后者通过大规模的社会监控预测有计划的犯罪。

第二个是规范约束。影片中的人工智能法庭是一种全权性的机构（omnicompetent）：获得了社会公众的高度信任；马多克斯集起诉人、法官和行刑者于一身；其指令至高无上，所有人都必须服从；她被允许查看任何云端数据，也无须搜查令即可访问私人设备信息。或许她唯一的约束就是两条最简单不过的条文：实体法律上的是“杀人者死”；程序法上的是允许被告有90分钟的时间证明存在合理怀疑。效率即正义，在这样一个极致的效率工具面前，被告人除了利用人工智能系统自身的力量之外，几乎被剥夺了任何的权益保障。

人类法庭目前为止所有的设置，无论是指定辩护人，通过陪审团审判，还是通过漫长的庭审过程进行举证和质证，都是为了正义所付出的必要成本和代价，也是为了尊重每一个生命所付出的成本和代价。这种设置不仅惠及少数群体，也惠及所有人。因此，全自动的人工智能法庭这样的设想，或许在认知的层面上很有趣，然而因为其失败率、规范性以及隐性的代价方面，在涉及人类基本权利的领域中很难被允许。

影片最大的讽刺之处在于人工智能法庭的名字叫作“宽恕”（Mercy）。然而整个审判过程中却看不到丝毫的“宽恕”，甚至可以说是毫不宽恕（Merciless）。在影片的审判场景中，被告人孤零零地被捆在椅子上，只能与“高高在上”的人工智能系统进行对话。这不禁令人想起卡夫卡式的“距离暴政”（distance of tyranny），因为距离的疏离而缺乏同情心。每个人在面临像是Mercy这样庞大的机器时都是脆弱的，只有像雷文警官这样熟练的专业人士才有可能充分地展开自救。

在美国法律上，最能体现“宽恕”的权力有三种：第一种是陪审团的否决权（Jury Nullification），即陪审团有权在认定被告有罪的前提下，因不认同相关法律或认为起诉不当，通过自身的裁量作出无罪判决。第二种是检察官决定不起诉的权力；第三种则是总统给予特赦的权力。

诚如美国哲学家杰拉尔德·J·波斯特马（Gerald J. Postema）所述，若是在刑事审判中没有宽恕进行调剂，就会在社会中产生一种“令人无法容忍的自以为是。被告的罪过表明的是一种值得谴责的弱点，而这种弱点，自以为是的官员对自己说，我是不会有的。这同样体现在普通人对有犯罪记录者的鄙夷当中……我们默默地对自己说：幸好我不像那些人。”

承认宽恕，就是承认每个人都具有的一种脆弱性。

本文为独家原创文章。作者：毕洪海；编辑：刘亚光；校对：陈荻雁。未经新京报书面授权不得转载，欢迎转发至朋友圈。

最近微信公众号又改版啦

大家记得将「新京报书评周刊」设置为星标

不错过每一篇精彩文章～

了解2025新京报年度阅读推荐书单