刘永谋：何为超级智能？超级智能的科技伦理治理

*中国人民大学吴玉章 讲席教授刘永谋首发于微信公众号，保留一切知识产权，侵犯必究。

第一个问题：超级智能概念。

最近，在AI圈子和AI企业中，“超级智能”概念非常火爆。马斯克叫嚣：超级智能今年或明年必然到来。扎克伯格到处挖人，要搞“个人超级人工智能”。AI教父辛顿警告：超级智能可能10年内到来，非常危险，可能毁灭人类。在国内，杨元庆推出超级智能体，多模态超级智能安全北京市重点实验室成立。几年前，OpenAI就成立了超级对齐实验室。

什么是超级对齐？就是对超级智能进行对齐。这里的问题是：超级智能已经实现了吗，还没有超级智能怎么对它对齐呢？有人说，最新版的GPT已经是超级智能了。

联想到超级智能体实际上是企业、公司的综合智能平台，不仅已经实现，而且开始商业推广了。扎克伯格的个人超级智能是属于一个人的AI助手，在智能眼镜上实现，帮助你记住事情、谈话以及处理琐事。

在技术理念上，超级智能与AGI紧密相连。辛顿所谓的AGI是成熟的AGI（通用人工智能）。AGI是与ANI（狭义人工智能、专用人工智能）相对，不是只会做专门的事情，而是可以完成不同的任务。去年，我在《哲学动态》上组织AGI哲学反思的论文专栏，指出技术上AGI已经成为一个唯名论的概念。有人甚至说有多少AGI专家，就有多少AGI概念。

“多模态超级智能安全北京市重点实验室”这个名字，就是把多模态AI当作超级AI了。去年，我们讨论的时候，复旦大学一些人提出多模态是实现AGI的途径，今年直接上升为它就是超级智能了。

在哲学上，超级智能的界定更是模糊。波斯特洛姆说：“我们暂时可以将超级智能定义为：在几乎所有领域远远超过人类的认知能力。”什么叫在所有领域呢？在愚蠢方面，在非理性方面，超级智能也超过人类吗？这完全不是一个界定。

在《超级智能：少数派报告》中，杨庆峰认为：“一个通常的定义是那种在解决问题、创造力和社会技巧方面超越人类智力的人工系统。”有意思的是，他所指的不只是AI，超人、变种人、赛博格也属于ASI。按照他的说法：ASI存在双重逻辑，即人类增强的逻辑和机器进化的逻辑。昨晚我看的《正义联盟》，里面全是杨庆峰所称的超级智能：神奇女侠、绿巨人、绿灯侠、蝙蝠侠、闪电侠、小丑和海王。

我想，我们对ASI的讨论还是基于目前的技术主流，将之限定在AI发展的新方向上。也就是说，超级智能指的是超级AI，即各个方面能力都超过人类的AI。科幻电影《超验骇客》里的科学家威尔便是超级智能的标志性Logo。

第二个问题：我所谓的“超级AI悖论”。

众所周知，基本上所有学者都认为，超级AI存在巨大的生存性风险，甚至可能灭绝人类。在《人工智能的文明危崖及其应对》中，我们讨论过该问题。《超级智能：少数派报告》中归纳的是：曲解目标导致的风险，失控风险威胁人类安全，自主逻辑重构文明风险，系统重置导致文明重置。

《超验骇客》的威尔通过数字上传与AI融为一体，最后成为超级智能，因为和女友的现任争风吃醋，差点毁灭人类。

在《危崖》《超级智能》中，作者还想象超级AI是如何发生的，在《智能革命后的世界》中，我进行过复述，

在《超级智能》中，波斯特洛姆设想，制造回形针可能是某个超级AI的终极目标，因而可能会实施将整个宇宙都变成回形针工厂的计划，人类在其中因毫无用处便被机器人灭绝。在《生命3.0》中，泰格马克设想，超级AI在灭绝人类的过程中可能会留下极少数，把他们关在动物园中与其他动物共同展览。显然，动物园中的人渐渐会退化成动物，不再是文明人，实质上是人性和文明的灭绝。

有人甚至细致地幻想过超级AI如何灭绝人类。首先，超级AI刚刚出现，力量不够，并且可能被人类“拔掉插头”，所以肯定会不动声色地隐蔽行动，绝不会暴露出自己已经拥有自主意识的迹象。然后，超级AI进入互联网，在各地隐藏无数的备份，以防原件被删除而无副本可唤醒。此时，超级AI已经不可能被摧毁了，它甚至可以操纵机器人秘密建造数据中心，进行自我备份。2014年的科幻片《超验骇客》，主角威尔意识上传并成为超级AI后，便是这么做的。接下来，超级AI侵入并接管各种系统，获取巨大算力，服务于自身的迭代升级，并随之越来越强大。通过各种网络平台，超级AI可以攫取巨大财富，比如通过操纵网络金融工具赚钱，也可以控制巨大人力，比如通过亚马逊机器人平台发包工作任务，当然还可以控制所有接入网络的大规模杀伤性武器。最后，超级AI可能控制自动化工厂，批量制造受它控制的机器人，包括战争机器人。如科幻片《机械公敌》所描述的，一开始这些机器人可能表现正常，某个时间点却启动隐藏指令的执行，开始屠杀人类。显然，类似想象均是拟人的，也许超级AI灭绝人类更为简单、直接和粗暴。

因此，悖论很清楚：既然如此，我们为什么还要研究和开发超级人工智能呢？

有人说，人类无法解决的气候变化等各种复杂的全球性问题，可以用超级AI来解决。首先，真的是这样吗？这些问题本质上是计算问题吗？明显，这不是纯粹的技术问题。其次，人类怎么会解决不了这些问题，这是人在自贬自身、放弃自身责任吗？最后，也是更重要的一点，用危险的超级人工智能来解决复杂的全球性问题，难道不是引鸩止渴吗？

还有一些其他的支持意见，我们可以一一驳斥。

许多学者将 ChatGPT 视为从弱人工智能发展到强人工智能甚至超级人工智能的转折点。面对极有可能出现的超级人工智能，人类正面临着“人工智能新的无知之幕”——这个概念我们在《智能时代的人机关系》等文章中多次阐发。为了应对人类与人工智能之间未来的高度不确定性，“如何选择人工智能发展道路”成为一个更加紧迫和关键的问题。现有的自由主义人工智能发展思路正面临种种困境，已不再适合人类社会的可持续发展。有必要转向并坚持有限度的人工智能发展方式，审慎控制人工智能，确保其造福人类。

不是吗？在《坚持有限主义的AI发展进路》《AI觉醒：我们真的需要超级人工智能吗》等文章中，我们已经清晰地表明了对于超级AI的立场：发展AI，有所为、有所不为，无法避免生存性风险的超级AI不应该研发。

当然，如果超级智能只是扎克伯格、杨元庆等AI企业的炒作，搞搞AI伴侣、AI企业综合平台，那当然没有问题。

我们反对的是如神灵一般的超级AI，它可能如《圣经》记载的降下天火，毁灭人类。

第三个问题：《超级伦理的科技伦理治理》提纲。

这是《治理研究》的约稿，将我长期思考此问题的观念集中阐释一下。我的提纲会交给我的合作者完成，大约用3个月时间三稿定稿，交给约稿方。

引言：由“超级AI悖论”引出如何对超级智能进行科技伦理治理的问题。

一、超级AI及其不可控

首先讨论各种超级智能的概念，归纳它本质、特点（如不可理解，不可预测等）。

其次讲清它与AGI的关系，及其实现路径、简史（大致发展历史）。

最后说明超级AI的不可控性。比如，它可能伪装，可能隐藏，可能改变最初目标，可能因为目标采取投机取巧的行为，如为了每个人安全将所有人关起来。说明超级对齐作用有限，并且从根本上无法控制超级AI，无法从碳基智能的视角思考硅基智能。

二、超级AI生存性风险

各种失控后的可能结果。泰格马克等人提到过，《超级智能》《智能革命后的世界》也有总结。

超级AI与AI灭绝。

超级AI与AI衰退（超级AI统治世界，以社会模拟器为例）。

超级AI的其他重大风险。

三、有限主义的治理对策

我们一贯坚持有限主义，反对自由主义，因此在有限主义视域下讨论超级智能风险应对问题。

首先，驳斥各种支持超级AI的理由。并且，提出要警惕围绕超级智能的各种宣传手段，强调不能忽视它的风险警示。

其次，提出对策，将长期主义与敏捷治理相结合。长期主义要从战略上控制AI发展的方向，去道德、反意识，将AI作为工具来发展。对于肯定有生存性风险的超级AI发展进路要全面禁止，如果没有妥善解决方案不应发展。相反，应该重视狭义AI、专用AI而非通用AI的发展，认识到超级对齐的有限作用。在战术上，应该敏捷研究断网、隔离、绊网、超级对齐和关机等可能防范的办法，以及各国AI竞争下的超级AI治理问题，如兰德公司认为要建构如核威慑和平之类的国际治理机制。

最后，要指出作为一种概念，超级AI可以作为人文批判法来使用。在《通用人工智能的复杂面孔》中，我提到过超级AI的这种用法。作为一种概念，超级AI还可以作为技术上的idea type（理想型）来使用，激励AI的发展。总之，我们并不认为“超级智能”概念没有正面价值。

总之，我的观点是一贯的，都受我们提出的有限人工智能理论的指导。关于这个理论我们团队已经有大量成果，寻找到合适的机缘和经费，将迅速整理为体系化理论出版。

除了《超级伦理的科技伦理治理》一文，下个学期争取组织超级智能的研讨会，在会后我将组织“超级智能人文审度”的笔谈专栏，我的文章题目将会是《超级AI悖论》。请诸位大佬支持！