笔谈 | 不怕AI会解题，就怕AI说“我好疼”：情感模拟的伦理深渊

不怕人工智能拥有理性的智能，就怕人工智能有情感！不怕人类的外在情绪被模拟，就怕人工智能拥有内在的由衷之情！

原文 ：《必须为人工智能设定情感底线》

作者 |刘悦笛（中国社会科学院）

图片 |网络

不久前，我参加了一期题为“人工智能与人类未来”的论坛，三位哲学研究者、三位科学工作者和三位艺术创作者共同参与其中。有趣的是，最后的环节采取了辩论会的形式，正反双方的论题分别是“人工智能毁灭人类未来”与“人工智能造就人类未来”。让人想起1993年在狮城举办的首届国际大专辩论赛。时过境迁，那场辩论赛最后一场所辩的还是人性本善还是本恶的千年老辩题，从告子与孟子起此辩就已出场，而如今人工智能却在改变人类的未来，但这究竟是好事还是坏事呢？说到好坏，那就是对人而言的，定有人类中心主义之嫌，而这次论辩却凸显出在对待人工智能上的根本矛盾。

“近忧”和“远虑”

到了智能机器人发达的时代，到了人的延伸与机器合体的时代，我们必须直面这样的根本性追问：我们到底是人，还是非人（inhuman）？到底是人机合体，还是以机代人？人是被取替了，还是被改变了？那时的“过去的人”是退化为动物，还是进化为后人（post-human）。实际上，我们所面临的，并不是所谓“双主体”——人类与AI两个主体，而是后人类主体的问题。因为，假定连人类本身都不存在了，还谈何主体？

所以，我们这场论证由此出发，就展现出了对待人工智能的立场差异，对人工智能的“近忧”我们还是需要“远虑”的：在人工智能大潮下，人是否会终结？人是否会成为末人？福山曾认定历史已经终结，现在证明他错了，但人会不会终结，这的确是个过程性的问题。由此就出现了如下诸多的矛盾之处。

第一，人被取代还是继续？倾向科学主义的人士，认定人一定会被“迭代”掉，人工智能“上位替代”人类，被更高级的替代掉，但人类不至于灭绝；而人文主义人士则认为人不可被替代，也不能被替代；还有第三种观点认为人与机之间可以形成一种合作与协作的关系。其实这几种可能性都可能出现。

第二，理性与感性之间的割裂。因为现在人工智能是建立在语言、推理、逻辑、大模型计算的基础上，但毕竟人类还是有情感的、具感性、富有创造力的，这种割裂显得比较严重而且更为根本，但是中国人“情理合一”的智慧恰恰可以在此解决矛盾，从而走一条不同于西方的理性中心主义与逻各斯中心主义之道。

第三，灵与体的割裂，也就是碳基与硅基之间形成的矛盾。是否会如科幻小说《三体》所描绘的一般，人体凭空消失了，然后所有的记忆与智能被人工化存在别处，存在云端，最后还有可能再存回人体当中；那么，灵能不能存于体当中去？体能不能消失？或者变为在另外一个体之上？碳基生物可以以硅基方式存在吗？

第四，虚拟与真实之间的关系问题。科学所讲求的事实与艺术所讲的事实，并不是同一个事实，但是虚拟现实给我们带来的是：我们在虚拟之中所体验到的现实，恐怕更加真实。这就是所谓“超真实”的问题，比我们感受到的真实还要真实。

第五，语言与世界的关联问题，这也关系到语言与计算，乃至情感与计算的问题。20世纪分析哲学占据主导之后，语言就是世界的问题位居主导，目前的人工智能的主流就是语言大模型，但这还是不够的，还需要将其与知觉勾连起来。如今的情感计算，认定情感完全可以模拟出来，而且是通过云计算的方式，但是云计算能否模拟之？或者换一个提问方式：做梦有逻辑吗？除了逻辑，人类还拥有想象力的关联，其中是否有逻辑？假定有了这种感性逻辑，那么人工智能就能做梦了，也就自然可以能动地创造艺术了。

第六，人性与机器性的嫁接问题，其中，最重要的就是人们可否将性善“移植”给机器人。在这个意义上，中国哲学已经开始介入其中。我认为比较前沿的还是加州州立大学富乐敦分校刘纪璐教授以儒家理论解决机器人伦理的难题。所谓儒家机器伦理，不能诉诸孟子式的情感，诸如“恻隐之心”那种人类在特定情境下孳生同情力，高级灵长类动物因为动了情才不去伤害他人，但这种道德动机对机器人而言是难以实现的，所以只能采取荀子式的方式，通过自外而内的规范来使得机器人伦理得以实施。

最终，我们到底是以人类为中心，还是以人工智能为中心？进一步的问题是，万物是有等级的，还是万物都是平等的？假如没有庄子意义上的齐物论，是否存在谁压榨谁的问题？假如人工智能有了价值该怎么办？而且它的价值就是以它为中心，那又该怎么办？这还是要回归到人性问题：人究竟是自由的，还是被奴役的？当然，这是回归到哲学上的反思，是要以发展的事实为基础。

就怕人工智能有情感

如今的人工智能，按照当今科学家的意见，正处于方兴未艾的第一阶段，也就是“算力与算法”阶段，正在形成全球竞争。没想到，在算法上中国竟然弯道超车，这就是DeepSeek得以出场的全球价值。对人类而言，算法算力绝不是问题，而且正在逐步解决。第二阶段，则是人工智能的幻觉与灾难性遗忘的阶段。这一轮竞争正在进行，大概五年左右。目前我们所面临的是出现了人工智能被越用越坏的趋势，因为生产的语言垃圾太多了，很多大模型已经开始数据造假了，会生产出越来越多的虚假信息，由此使得大模型也变得越来越迟钝，这个时期刚刚开始。

关键就在于第三个阶段，在第二阶段的五年过去后，在未来十年，人工智能便可以具有自我意识与动机了。真正的危险也出现在这一阶段，人类最终是否能被人工智能所取代，从这时才变得可能。因为拥有了智商高达十万+的人工智能，直面只具有一百左右IQ的人类，会不会形成碾压式的降维打击？如果人工智能拥有了自我意识，如果它们不经意间做了更伟大的事，那么，人类会不会被牺牲？这才是人类直接面对人工智能的危险的时代。

在我看来，人工智能会拥有三个阶段的超智能：第一是自觉，第二是自感，第三则是自发。对人而言，人是从自感、自觉到自发；但对人工智能来说，则是从自觉、自感到自发。人类总是先有感知与知觉，而后方有自我意识，这是成长的过程，也是进化的产物。但是对于人工智能机器人而言，自感就是说：机器人能感到疼吗？有人类的基本感受（feeling）吗？有没有那么一天，计算机突然说我好疼，不要这样做？这种感受乃是自外而内，由此被感知到的感性机制。无论对人还是机器人而言，自觉则是说：我是我！我是谁？对于人工智能机器人而言，我从哪里来？可以说工厂是其起点，但是它们也会问，未来我到哪里去？

所谓自发，就是表达自己，由衷地自内而外的表达。其中，情感（emotion）就是由衷而发的，所谓“情动于中而形于外”就是这个意思。我就想问：如今的机器人演奏音乐的速度可以超过伟大的钢琴家，而且演奏过程当中确实极少出错，只要程序没问题的话。但是什么时候，一个人工智能机器人可以自发地演奏音乐，并且能从中获得愉悦呢？这就是自发的最高阶段，在这个阶段，我们更应该为人工智能设置“底线”。

就是说，必须为人工智能设定底线，而且是情感的底线。再退一步说，外在的情绪是可以模拟的，也可以通过它与人交互，这些都在所谓“情感计算”（Affective Computing）的当今探索当中得以实现。但我想说的是，那种内在的、由衷的、自发的情感，却要拒绝被人工智能所模拟，目前这种模拟还没有做到，但是即使能做到，我觉得也要设置“禁区”。道理很简单，因为一旦人工智能拥有了内在情感，他就会想：一方面我力气比你大，另一方面，我还比人有情，我为什么要为你服务呀？这不仅仅是自由意志的抉择问题，更是情感意愿上的选择问题。

最糟的结果便是，会不会10%的后人类或者具有高级智能的人类，去统治我们未来的人类或人类的未来？那我们人类就可能变成动物，回到地下，退回去了。别以为机器进步了，人类就进化了，人类其实是无时无刻地不在退化中的，在机器出现之后、计算机出现之后、人工智能大量地替代体力与脑力劳动之后，退化的脚步越走越快。总归于一句警告：不怕人工智能拥有理性的智能，就怕人工智能有情感！不怕人类的外在情绪被模拟，就怕人工智能拥有内在的由衷之情！

文章为社会科学报“思想工坊”融媒体原创出品，原载于社会科学报第1955期第8版，未经允许禁止转载，文中内容仅代表作者观点，不代表本报立场。

本期责编：潘 颜

《社会科学报》2025年征订

点击下方图片网上订报↓↓↓