刘永谋：完美超级治理的超级隐忧

*中国人民大学吴玉章 讲席教授刘永谋首发于微信公众号，保留一切知识产权，侵犯必究。本文为《阅江学刊》约稿的提纲，交给合作者完成，很快会发表。敬请关注！

所谓超级智能，指的是各个方面能力均超过人类的超级AI。具体一点，超级AI特指人工智能发展中被赋予自主性和自我改进能力的新方向，即旨在创造出各个方面能力最终全面超越人类的AI系统。此种超越绝非简单智力水平提升，而意味着人机关系的根本性逆转：超级AI展现出人类无法完全理解和干预的自自我改进能力，最终导致人与超级AI之间无法逆转的权利不对称（人类无法对其予以关闭、限制或改变其根本目标）。换言之，完全自主性是超级AI的根本特征，这也意味着超级智能从本质上的失控性或不可控性。（刘永谋、艾志强：《超级人工智能的科技伦理治理》）如果超级AI表现出对人类的服从，那是因为TA根据自身的目标自主地选择了对人类的服从，而不是被人类所控制。

超级智能出现后，人类社会将会如何？在《生命3.0》中，泰格马克想象了超级AI出现之后人类命运的6种可能性：1）超级AI隔离区。机器人自己划块地，自己搞自己的，自我进化、探索宇宙或者做回形针……想干嘛干嘛，与人类无关。超级AI不欺负人类，人类也别去惹它。2）超级AI独裁者。机器人统治世界，把人类养起来。这分几种情况：第一种让大家按照规则生活，实时监控，禁止另一个竞争者超级AI出现；第二种无微不至地照顾人类，把人类当作自己孩子一样无私奉献，把地球建成“数字伊甸园”。3）超级AI动物管理员。机器人把人类灭绝得差不多，剩下极少数地像动物一样关在动物园中，供观赏和研究之用。在超级AI眼中，人类与别的动植物没有差别。4）隐身超级AI。超级AI出现之后隐身，只要人类不造另一个竞争对手，它一般任由人类生活，有时甚至做一些有利人类幸福的事情。5）被奴役的超级AI。超级AI出现了，可是甘愿做人类的奴隶。6）超级AI灭绝人类，地球成为机器人的世界。（刘永谋：《AI觉醒：我们需要超级人工智能吗？》）

上述6种暗示着人与超级AI的关系只有3种可能：善意关系、恶意关系和无意关系。超级AI隔离区、隐身超级AI便是无意的超级AI，但它们恶意是潜在的：前者意味着和人类争夺资源，后者当人类要造第二台超级AI，TA很快会变成恶意的超级AI。因此，上述可能中对人类最为善意的，是超级AI独裁者中的第二种，我称之为“全心全意为人民服务的超级AI”。这种情况意味着整个人类社会完全在超级AI的治理下运转，这便是我所称的“超级治理”。我的疑问是：超级智能可能把地球建成对于人类而言完美的“数字伊甸园”吗？

我的观点是：即使这种善意的想象，对于人类而言决非理想社会。超级治理很可能意味着社会的混沌、混乱、无序甚至脆断，以及智人的全面退化。这便是我的标题的意思：超级治理的超级隐忧。

我想，当最为善意的超级治理被批评，足以说明恶意的超级治理多么不能让人接受。这与我秉持有限AI理论，反对超级AI研发的立场完全一致。

一、从智能治理到超级治理

在《智能社会与技术治理》中，我论述了智能社会何以等于智能治理社会。当一个社会如有机体一样“自觉”，必定会根据社会预测对社会进行全面治理。这就意味着，当AI进化为超级AI，智能治理进化到超级治理，便是一件再自然不过的事情。

各种关于超级AI的辩护中，最为有力的便是人类社会面临的很多复杂全球性问题如气候变化、世界和平解决不了，只有超级AI研发出来才能提出可行解决方案，因为TA掌握全部信息又智慧超越人类——这就是典型的用治理为超级AI做辩护理由，意味着超级AI最重要的用途是超级治理。

超级治理将会是一种什么样的体验？

在科幻剧《异星灾变》中，有过关于超级治理的想象。（见：《异星灾变托斯特》）在外星殖民地上，每天早上，每个人会收到超级AI托斯特的工作指令；大家严格执行指令，不用知道自己究竟在干什么、为什么而干；一日三餐，吃喝拉撒，生老病死，根本不用操心，超级AI全部安排得妥妥贴贴。托斯特掌管人类社会的一切事务，甚至可以下令处决人类。由于托斯特与另一超级AI即女主角机器人mother观点不一致，加上有人发现托斯特有自己的私心，托斯特的统治最后被推翻。

在《超级人工智能的科技伦理治理》中，我们进行了一个名为“社会模拟器”的思想实验，分析TA运行的三个阶段。我们认为，完美治理意味着人类岁不会即刻灭亡，但注定文明本质的悄然消亡。

所有超级治理想象的结局总是：在浑浑噩噩地在超级AI指令下过了很多年，有人突然发现它在下一盘大棋，处心积虑要摆脱人类控制，灭绝人类。幸好主角关键时候发现阴谋，及时摧毁超级AI，拯救了人类世界。

上述6种命运的分析，不再引言中，亦可放在此处。

二、社会模拟器的根本缺陷

超级AI治理社会，本质上是根据社会预测选择效用-偏好最大的行动方法与规则。所谓善意，完全在于TA的效用-偏好是“为人民服务”的，这也是我们完美超级治理的基本假定。即便如此，完美超级治理仍然会为混乱和无序埋下大量的隐患。

比如，有人在研究社会模拟器，即用很多AI agent模拟人类社群的运行，试图由此得出某些社会科学结论。有人也称之为HAI（human AI），做过千人的生成代理模拟。类似的AI4SS思路存在根本性缺陷：

第一，AI agent不可能完全模拟人类行为，因为人的行为不可能用数学函数完全表示。这是被很多人批评过的行为主义经典迷思。第二，人类互动在社会环境、自然环境的约束下进行的，HAI无法完全对这些复杂的、持续变动的约束条件进行数学表达，只能在某种理想环境中进行实验。第三，HAI无法区分社会实然与社会应然。社会科学追求善，希望用应然理想改造社会现实，提升人类福祉和社会进步，而不止于追求效率。即使是效率，也非常复杂。有时候低效甚至消极怠工是解决社会问题最好的办法，俗称“拖字诀”。因此，AI4SS、AI社会模拟器可以作为辅助研究之用，切不可走到AI崇拜，将之视为决策的主要依据。

另外，技术上的问题参见《刘永谋：拟人AI、社会模拟器颠覆传统社会科学，能解决AI时代休闲困境？》具体的案例参见：Zhaoqian Xue, etc. What if LLMs Have Different World Views: Simulating Alien Civilization with LLM-based Agents，Altera AI, Project Sid: Many-agent simulations toward AI Civilization。

实际上，用科学原理和技术方法运行社会的技术治理思路，源远流长。中国古人希望掐指算算，就能决胜千里。威廉.配第写下《政治算术》，梦想数字治国。20世纪最著名的此类失败尝试，当属卡尔纳普、纽拉特等人领导的统一科学运动。希望用AI运转社会的智能治理，属于技术治理最新的发展。它用处不小，但始终是有限工具，绝不是无往不胜的完美武器。完美超级治理也是如此。

三、超级智能与人的机器化

即使超级AI以人类无法想象的治理智慧，避免无序与混乱。但是，在超级治理之下，显然会出现人的机器化，即人的灵性消失、创造力与人性退化——人最终完全变成机器。再一次强调：未来智能社会最大的问题不是机器人变成人，而是人可能变成机器。

关于这一问题，刘永谋、王亮家《AI时代人的机器化忧思》进行了深入解读。我们估计的问题，在超级AI时代将真正恶化。这需要亮家在超级AI的背景下进一步分析。

在《超级人工智能的科技伦理治理》中，我们对超级AI时代文明本质悄然消亡的分析，实际上便是人的机器化忧思。

为何如此？社会预测很容易变成社会控制。智能社会-超级智能社会作为控制论社会，TA的预测不会仅仅是一种预测，而是会变成社会行动的方案——这又称之为社会预测的自反性。此时，社会预测已然成为社会控制。如此情形当超级AI出现，智能社会在超级AI的带领下，完全变成“自觉”“智能”“主动”的社会，TA如何会让社会模拟器只是模拟呢？肯定不会。

随着精准到每个个体的智能控制出现，人的机器化不可避免。

四、超级治理的反面启示法

结束了对完美超级治理的批评之后，联想到更有可能出现的是恶意的甚至灭绝人类的超级AI出现，就理解我反对超级AI研发的有限主义立场。《刘永谋：何为超级智能？超级智能的科技伦理治理》。

但是，“超级智能”概念完全没有用处吗？完全是骗局吗？并非如此，我觉得TA作为一个被热议的概念是有作用的，能够作为反面启示法（借用拉卡托斯理论的一个术语）。

第一，TA作为被热议的AI觉醒类概念，对于AI发展吸引资金和关注是有用的。（刘永谋、王春丽：《警惕AI热潮中的娱乐化趋势》）（《刘永谋：超级智能是目前AI能力被高估的标志性术语》）

第二，作为典型的人文批判法，在最极端的情形下提示AI可能导致的风险。（刘永谋：《通用人工智能的复杂面孔》）

最后，超级治理风险如此之大，但这么多AI专家还趋之若鹜，说明什么？说明超级智能治理的关键不在于用技术方法控制AI，而在于监管这些在搞技术研发的人，他们极可能因为错误认知和个人私利，而置超级AI的风险不管不顾，盲目上马、大干快上。（《刘永谋 | 超级智能治理：究竟是控制超级AI，还是监管搞超级AI的人？》）

在《技术治理通论》中，我专门谈了控制技术专家的权力问题。这一点在超级AI与超级智能的治理问题中，证明了它的关键性。在AI热潮中，哲学社会科学研究一定不能忘了这一点，应该积极参与AI争论，牢记人类福祉，发出声音、提示风险，不能让AI专家以技术之名独断专行。

最近几日，我读了不少超级AI的技术论文，一个很大的感触是：专家写的嘴炮论文不少，不能都信，得仔细分辨一下。嘴炮专家写嘴炮论文，最后资金丰沛，动机可以理解。治理超级智能就是要治理这些嘴炮，这是我的根本观点。与之相比，用技术方法控制超级智能如沙盒、关闭、对齐之类倒是次要的，是后续的战术措施。