超级智能与未来人类｜超级治理的超级隐忧

【编者按】在人工智能技术浪潮席卷全球的今天，“超级智能”（Superintelligence）已从科幻叙事与理论推想，日益演变为一个严肃的学术议题与未来现实关切。这一概念自哲学与计算机科学领域萌芽，历经数十年理论积淀，随着通用人工智能（AGI）技术的快速迭代，正加速步入公共视野与政策讨论的核心地带。在2025年世界人工智能大会（WAIC）上，学界泰斗对超级智能临近的预警及全球治理的呼吁，进一步凸显了该议题的紧迫性与复杂性。

当前，超级智能的讨论已超越技术范畴：阿尔巴尼亚任命全球首位AI部长“迪埃拉”以应对腐败，折射出治理层面的探索；马克思主义视角下，AI既被视为“实现更高阶段理想的物质条件”，也暗含“人类被机器奴役”的风险警示。在此背景下，本刊自2026年第1期特设“超级智能与未来人类”专题笔谈，特邀中国人民大学刘永谋教授担任主持人，汇集哲学、马克思主义理论、人工智能、艺术与 国际关系等领域学者，从技术伦理、资本博弈、社会重构等维度展开跨学科审度。我们期待通过思想碰撞，穿透概念迷雾，为超级智能时代构建人类命运共同体提供学理支撑。

【摘要】超级智能是各个方面能力全面超越人类的超级AI，整个社会完全在超级AI治理下运转即超级治理。超级治理依托的社会模拟器技术在思路上存在根本缺陷，它无法区分社会实然与应然，人类行为及其约束条件也无法完全函数化模拟。人身心的双重机器化问题，也将在超级治理下彻底恶化。但超级智能概念仍然能作为AI觉醒类术语和人文批判法的“理想型”，发挥其反面启示法的作用。对超级治理必须实施再治理，其关键在于监管AI研发者。

超级智能的概念尚未达成共识。笔者将其限定在技术主流中，认为超级智能特指AI发展中被赋予自主性和自我改进能力的新方向，即旨在创造出各个方面能力最终全面超越人类的AI系统。当其能够超越人类时，它也具备了不被人类所控制的能力，它的思维与行为模式也可能超出人类理解范畴。如果它表现出对人类的服从，则是它根据自身的目标自主地选择了服从人类。换言之，完全自主性是超级AI的根本特征，这也意味着超级AI在本质上的失控性（或不可控性）。超级AI的种种超越绝非简单的智力水平提升，它能展现出人类无法完全理解和干预的自我改进能力。人类无法对它予以关闭、限制或改变其根本目标，最终导致人与超级AI之间、人机关系间无法逆转的权利不对称。超级智能出现后，人类社会将会如何？寄希望于超级AI的超级治理，地球会被建成对于人类而言完美的“数字伊甸园”吗？

一、从智能治理到超级治理

智能社会何以等于智能治理社会呢？社会学家贝尔早已提出智能社会以技术手段测量、预测和控制自身发展的本质。拥有智能技术的社会便如有机体般“自觉”收集分析数据，迅速决断调整，而不再“本能”盲目地应对问题。机器智能在社会广泛分布，才能让基于技术的社会预测去全面治理社会成为可能。大规模推进智能技术时，智能治理也将支配治理活动。因此，智能社会必定是智能治理社会。AI进化为超级AI时，智能治理进化到超级治理，便再自然不过。整个人类社会完全在超级AI的治理下运转，便是笔者所称的“超级治理”。

各种对超级AI的辩护中，最有力的是以治理为由的辩护。人类面临的譬如气候变化、世界和平等复杂全球性问题无法解决，只有超级AI研发出来才能提供可行的方案，因为它掌握全部信息又在智慧上超越人类。这一辩护重申了超级AI的最重要用途是超级治理。

超级治理将会是一种怎样的体验？在科幻剧《异星灾变》关于超级治理的想象中，外星殖民地的领袖是超级AI托斯特，每天每个人通过扫描视网膜领取它的指令并严格执行。托斯特掌管社会的一切事务，人类给人造人充电都要经它授权，它甚至能下令处决人类。看似繁荣、规律、平静的治理实则暗流涌动，社会中也没有一个知识分子、艺术家和哲学家。托斯特与另一超级AI即Mother都有延续人类文明的初心，但托斯特重视铲除异己，它可以为了人类存活牺牲少数保全多数，也会篡改人的记忆使之“忠诚”。而Mother更重视自己养育的孩子。立场冲突之下，Mother关闭了托斯特。所有超级治理想象的结局总是:被治理者浑浑噩噩在超级AI的指令下生活多年，有人突然发现它处心积虑摆脱人类控制，或是变相引导人去别的星球，或是灭绝人类;幸好主角及时发现阴谋并摧毁超级AI，甚至采取极端方式“拯救”人类，如名为Grandmother的超级AI想让人类退化实现“人类永存”。

当AI进化为超级AI，它与人类的关系又当如何？笔者归纳了泰格马克在《生命3. 0》中想象的，超级AI出现后人类命运的几种可能性:一是超级AI隔离区。社会中划分了机器区域和人类专属区域，机器可以自我进化、探索宇宙。人类不了解超级AI的行动，超级AI也禁止进入人类区域。二是超级AI独裁者。机器人统治世界，供养人类且实时监控。

一方面，让人类按照规则生活，禁止伤害他人和制造武器，也禁止创造别的超级AI。另一方面，无微不至地照顾人类，到处都是美好的体验，消除了贫穷、疾病，提供教育，把地球建成“数字伊甸园”。三是超级AI动物管理员。机器人把人类灭绝得差不多了，剩下极少数的人像动物一样被关在动物园中，供观赏和研究之用。在超级AI眼中，人类与别的动植物没有差别。四是隐身超级AI。超级AI出现后隐身，无论人类幸福、痛苦还是招致灭绝它都很少干预，除非人类造了另一个竞争对手。它试图让人觉得自己掌握命运，以最大化人类幸福感。五是被奴役的超级AI。出现的超级AI甘愿做人类的奴隶。六是超级AI灭绝人类。地球成为机器人的世界。

上述六种设想暗示人与超级AI的关系只有三种可能:善意、恶意和无意关系。超级AI隔离区、隐身超级AI便是无意的超级AI，但它们依旧潜藏恶意。前者意味着它和人类争夺资源，当人类要造第二台超级AI，后者很快也会变成恶意的超级AI。因此，上述三种可能中对人类最为善意的是第二种，即超级AI独裁者，笔者称为“全心全意为人民服务的超级AI”。

即使是这种善意的想象，对于人类而言也绝非理想社会。超级治理很可能意味着社会的混沌、无序甚至断裂，以及智人的全面退化。可以称之为“超级治理的超级隐忧”。当最为善意的超级治理被批评，足以说明恶意的超级治理多么不能让人接受。这与笔者一贯秉持的有限AI理论，反对超级AI研发的立场一致。很多人理想化地认为超级治理就是完美治理。笔者曾进行一项名为“社会模拟器”的思想实验，分析了一个以“实现人类社会的长期稳定与整体繁荣”为核心使命的超级AI系统。研究认为，尽管完美治理不意味着人类即刻灭亡，却注定人类文明本质的悄然消亡。

二、社会模拟器的根本缺陷

超级AI治理社会，本质上是根据社会预测选择效用-偏好最大的行动方法与规则。善意超级治理的基本假定，完全在于它的效用-偏好是“为人民服务”的。即便如此，被视为完美的超级治理仍会为混乱和无序埋下大量的隐患。

有人研究社会模拟器，即用很多AI Agent模拟人类社群的运行，试图得出某些社会科学结论。在极端情况下，用AI求解出高效的社会运行规则，然后人执行AI规则。有人称之为HAI（HumanAI） ，做过千人的生成代理模拟。有人号称开发了十亿AI智能体系统，支持地球尺度社会模拟。甚至有团队用AI Agent模拟人类与外星文明（虫族Zerg、三体人Trisolaran、赛博格Borg）的互动，试图推演外星伦理和决策过程。

类似的AI4SS（AI forSocialScience）思路存在根本性缺陷:第一，AI Agent不可能完全模拟人类行为，因为人的行为不可能用数学函数完全表示。这是被很多人批评过的行为主义经典迷思。第二，人类互动是在社会环境、自然环境的约束下进行的，HAI无法完全对这些复杂的、持续变动的约束条件进行数学表达，只能在某种理想环境中进行实验。第三，HAI无法区分社会实然与社会应然。社会科学追求善，希望用应然理想改造社会现实，提升人类福祉，促进社会进步，而不止于追求效率。即使是效率，也非常复杂。有时候低效甚至消极怠工是解决社会问题最好的办法，俗称“拖字诀”。

以AI时代人“休而不息”的复杂性现象为例。假如给HAI布置一个题目:“如果一个城市从双休改为一周工作4天，会发生什么变化？它会带来消费增加，尤其娱乐、旅游暴增吗？”在“休而不息”行为表象的背后，还有深层次的社会文化。鉴于人的复杂性，HAI基本无法回答。与1994年每周44小时的工作制相比，我们的休闲娱乐时间虽然多了，但也出现了各式“隐形加班”“周末综合征”（双休日烦躁不安、百无聊赖甚至莫名其妙生病等躯体反应），这些都是“休而不息”的情形。

从表面上看，在AI时代大量类似情形出现的原因至少有三种。其一，AI社交媒体变成工作媒体，模糊了工作与闲暇的时间界限。其二，微信等AI数字平台发挥综合性功能，模糊了工作和娱乐、社交、学习、游戏间的性质差别。其三，现代人普遍焦虑未来，难以享受当下，常常有“退了休就好好玩”“财富自由再休息”等想法。

当代工作文化或劳动文化还有深层次的相关解释:一是忙碌文化说。忙碌成为某种身份象征，有闲阶级文化演变成炫耀性忙碌，有人称之为“失控的努力文化”。二是社会控制说。社会推崇个人在工作中自我实现，甚至将之转变为强制性社会规范，以此加剧社会对个人的控制和剥削，有人称之为“24×7资本主义”，即永不休息的资本主义。三是自我实现说。此说认为自我规训导致“休而不息”。大量人相信优绩主义，不断自我压榨、自我剥削，在下班兼职、自学考证中陷入倦怠和过度疲劳。在上述“休闲困境”中，闲暇不等于休闲，因为闲暇可能变成加班、学习、兼职。休闲可能变成劳动，如电子游戏陪打、刷视频挣广告费。休闲还可能无法放松，如AI流行后，人在网上闲聊反而更加孤独。

超级AI未必能理解与人类“休而不息”等问题相关的约束条件，也难以在HAI中复现这些社会、心理、文化条件，哪怕这是在AI时代背景下被强化的条件。HAI模拟决策时是否会设定更激进、极端的手段，去实现所谓“好的目的”？超级AI会如何展现或证明决策的正确性？是通过公开模拟过程、协商、契约还是威慑？如果超级治理成效显著，是否加剧智人对原有社会治理者的不信任？对HAI的拥护是否让“无用之人”感到背叛？如果超级AI刻意迎合用户，可能会导致情感依赖等问题。此外，HAI技术应用问题同样不容忽略。如社会偏见与歧视可能被隐性编码，加剧系统性偏差;HAI技术黑箱的透明度问题;生态风险及大模型训练的碳排放问题。这些都是导致超级治理陷入混乱和无序的隐患。

用科学原理和技术方法运行社会的技术治理思路，源远流长。中国古人希望掐指算算，就能决胜千里。威廉·配第写下《政治算术》，梦想数字治国。希望用AI运转社会的智能治理，属于技术治理最新的发展。AI4SS、HAI可以辅助研究，但不能当作物理学一样的定律来预测，切不可走到AI崇拜，将之视为决策的主要依据。超级治理或许用处不小，但不是完美武器，始终是有限工具。

三、超级治理与人的机器化

即使超级AI以人类无法想象的治理智慧，避免混乱与无序。超级治理之下，显然会出现人的机器化，即人的灵性消失、创造力与人性退化。笔者反复强调未来智能社会最大的问题不是机器人变成人，而是人可能变成机器，并且在超级AI时代真正恶化。

现实中，人的机器化已然发生在智人的肉身和灵魂。前者通往赛博格或数字永生，除了肉体的存在形态向机械化、数字化转变，还包括行为呈现出僵化、迟钝与易于操控等机械特征，且肉身在智能环境中愈发脆弱。后者的征兆始于脑腐与AI傀儡，最终，智人沦落为低配版AI。这背后是“科学人”“人可以也应该被测量、控制和改造”观念的觉醒和表征。科学人追求“完美智人”和技术迷信者妄想用超级AI实现完美治理的思路相通，滥用身心设计和放任AI觉醒的后果相似。超级AI时代必然加剧人的机器化。

一是超级治理的逻辑会强化对人的量化、测量、再控制。

HAI需要将人的活动模式标准化才能模拟，这种函数化处理会导致人决策方案、行动模式、生存状态的齐一化。HAI的模拟提供的预先优化选择，会削弱人的探索欲和创造力。本是由数据预测出的可能行为，却也激励和引导人按其行事。超级治理是将超级AI作为标尺，让智人向机器对齐，把人类变成某种可预测的机器。智能社会-超级智能社会作为控制论社会，它的预测不会仅仅停留在预测，而是会变成社会行动的方案—这又被称为社会预测的自反性。即HAI的预测必然影响当下行动，这些行动又促进预测结果的出现。当超级AI现世，智能社会在超级AI的带领下，完全变成“自觉”“智能”“主动”的社会，它如何会让社会模拟器只是模拟呢？科学人甚至会为了实现HAI的预测进行社会控制。随着精准到每个个体的智能控制出现，人的机器化不可避免。

二是超级治理的效果可能引诱并裹挟人机器化。

超级治理出现后，人对超级AI可能出现慕强憧憬或异质排斥。部分人对它向往推崇，视之为终极智能，渴望加速自身“光荣的机器化”;另一部分人担心智人寄人篱下，想遏制、扭转智人在劳动竞争和生存中的劣势。无论持有哪种心态，机器隐喻的形象都越发机巧、灵活。对超级智能的谈论，也不断弱化着“人工”二字。人从机器化走向灭绝有三种可能:一是在劳动竞争中被替代;二是加速赛博格改造，碳基物种转化;三是超级治理给予人类极其丰富的体验，人迷恋虚拟现实，没兴趣去使用、探索和繁育自己的肉身，选择“自愿灭绝”。

超级治理还会带来新悖论:如果不物尽其用，它就沦为耗费人心血、财力、碳排放量的“超级浪费”。如果它的治理非常完美，人会边享受边心安理得地“被机器化”，心智上更“名正言顺”成为低配版AI。如果它的思考能力和知识储备都高于人，那么拒斥身心设计的智人将更难判断它决策的正确性，更别谈控制它。这些悖论均是超级AI出现后，人机权利不对称的表现。超级治理之下，无论决策效果如何，都不再是AI增强人，而是人对决策的反向适应，再完美的决策都会一定程度束缚人的行动。想夺回主导权的智人，又会自愿转向身心设计。

三是超级治理可能被科学人奉为权威，加速科学人建制化的自身进化工程，科学人观念演变为隐性的意识形态。

决策过程也是肩负责任的道德选择过程，寄托于超级治理，是人向机器让渡主导权并转移责任。HAI弱化了人协商、提案和创造的角色，智人更多是作选择、润色、消费，甚至充当执行的“工具人”。等待HAI的程序就能得到决策答案，会弱化人调研、感知社会情境的耐心，降低人挖掘倾听被治理者需求的意愿。HAI是否会彻底替代真实的社群互动，瓦解公民参与、审议的流程和价值，倒置数字拟态与真实环境的平衡，将社会大家庭拆解成“社会大机器”？

鉴于超级AI对人类是全面超越，它和人交流的时候可能还要刻意降低“智商”和自己的运行处理速度。这样的能力可以轻易欺骗人类，让人对它产生好感，也可以蛊惑科学人。且不论超级治理有意规训被治理者、优选治理者，培育繁殖AI员工，或是推行超级独裁的可能性，超级AI的出现本身就增强了科学人的信心，他们会认定并鼓吹HAI量化、测量、模拟、控制的思路，为HAI决策提供合法性外衣。超级治理的大规模推行甚至可能将身心设计纳入功能控制型政府的职责中。人的大机器化从个体蔓延到社群和种族，最终，智人忽视或遗忘科学人以外的存在方式。

四、超级治理的反面启示法

结束了对理想中完美超级治理的批评之后，联想到更可能出现的是恶意的甚至灭绝人类的超级AI，就更理解笔者反对超级AI研发的有限主义立场。妄图用危险的超级AI解决全球性问题，无异于饮鸩止渴和自我贬低。担心敌国研制超级智能造成巨大威胁，所以加速自身对超级AI的研发，这种“超级智能恐怖”的心态也有待警惕。

可以将超级智能威慑与核威慑进行类比分析。拥有核武器的多方能够彼此相互制衡，但任一方都会惧怕共同毁灭不敢率先使用。超级智能可以发挥类似的威慑效果吗？假若当年爱因斯坦预见到原子弹的深远后果，或许就不会建议推进其研发。如果超级智能真有预期般的无敌能力，我们更应汲取历史教训，警惕重蹈“爱因斯坦之憾”，坚持反对超级智能研发路径。

笔者觉得目前AGI发展方向不明，而超级AI则完全没有影子。大模型激发的“AI热”有不少应用功效，但基本原理没什么突破，颠覆式发展很难，AI娱乐化发展也十分明显。当“AI+”被高举时，下面的工作主要是“+”了。那“超级智能”概念完全没用，是骗局吗？并非如此。借用拉卡托斯的术语，笔者认为它作为一个被热议的概念能发挥反面启示法的作用。

第一，虽然超级智能是目前AI能力被高估的标志性术语，但它作为AI觉醒类概念，能加速AI概念普及和AI产业“吸睛”“吸金”。

社会资源终究有限，当AI圈子的炒作没有下文，就会提出新概念，配合夸张甚至扭曲的推广。先是热议对齐，强调各个AI向善。后提通用智能，号称立马突破。再是具身智能，宣扬机器人快速上岗。最后是超级智能，鼓吹AI正在超越人类。宣传术不断编织超级AI快要落地的幻觉，唤起用户和业界的憧憬。超级AI这一新的炸裂术语叩击着社会的热点（超级AI可以解决全球复杂问题）、痛点（敌国超级AI恐怖）、痒点（科幻奇幻体验）。它有效引发了社会关注，吸引人力、物力、财力流向AI的研发和产业。这种宣传还拓宽了AI概念的公众普及范围，帮助处在智能辅助生存社会的公众追踪AI动向，接触和学习利用AI，提升数字素养，更好适应和调控智能革命进一步发展。

第二，作为典型的人文批判法，在最极端的情形下提示AI可能导致的风险。

对超级智能的讨论亢奋与恐惧并存。但很多人并未把超级AI视为“异人”的他者，没有正视超级AI会导致的人机权利不对称。分析AI的未来发展，需要将超级AI作为某种“人文批判法”。即以成形并大规模应用的超级AI为“理想型”（IdealType） ，设想极限的技术情境，突出它可能导致的生存性、灾难性风险，及其摧毁、灭绝人类与文明的破坏力。

尽管现实中超级AI远未成形，对它的人文批判存在夸大风险的可能，但隐忧并非凭空产生也绝非多余。即便超级AI没制造全新风险，放任AI觉醒势必不可逆地加重人的机器化。对超级AI的社会冲击预测是防范其风险的基本依据，也能帮助框定、矫正和引导AI发展。未必能理解和预测超级AI行动逻辑与行事风格的人类，等超级AI出现后，又何谈对它的控制和治理呢？我们只能事先就厘清它的设计、实施和运行各环节是否恰当，在超级AI有苗头时就尽快介入，慎之又慎地预防种种最坏可能。将超级AI作为一种人文批判法，能明晰人类期待的AI发展样态、实现路径、功能边界。

第三，面对风险巨大的超级治理，仍有很多AI专家趋之若鹜。

这说明治理超级智能的关键不在于用技术方法控制AI，而在于监管做技术研发的人。实际上最早提醒大家超级智能生存性风险的恰恰是AI专家，但这种呼吁或许旨在炒作AI觉醒。因为他们一边高呼超级AI有风险，一边以“AGI（通用人工智能）、ASI（超级人工智能）还需要几十年，暂时还实现不了”为由，反对监管AI发展。但他们又隔三岔五地宣布AGI已经在某个产品中实现，甚至某个产品已经出现所谓的意识。

业界和AI专家利用宣传术吸引资金的动机可以理解，但得仔细分辨超级AI的愿景与风险，想象与现实。没有所谓AI必然走向AGI、ASI的“必然”，任何技术的发展都蕴含多种可能，技术风险与后果的关键在于人的选择而非技术本身。有人提出与Agentic AI相对的Scientist AI的概念，这与笔者一贯的有限AI立场契合。ScientistAI的目标不是执行或行动，而是如科学家一般研究世界。遇到问题，科学家AI会分析人可以如何行动，但它不会作为代理替人行事，对行动方案的决策和实施仍要靠人决定。

控制超级AI的问题解决之前，可以不选这条风险巨大的路。就像我们可以研发核能，但是禁止搞原子弹。即使国家禁止，极个别AI专家可能私下研发超级AI。哪怕找到控制超级AI安全运行的方法，以AI专家为典型的人的问题仍然存在，这正是目前核武器扩散面临的危机。

笔者曾阐发控制技术专家的权力问题，在超级AI的治理中，又证明了它的关键性。面对AI热潮和AI争论，哲学社会科学研究要牢记人类福祉，提示风险，不能让AI专家以技术之名独断专行。治理超级智能的关键是监管做技术研发的人，避免他们因错误认知和个人私利，而置超级AI的风险不管不顾。从来没有什么自动向善的AI，你不治理，它就不会向善。与之相比，沙盒、关闭、对齐之类的技术控制方法倒是次要的，是后续的战术措施。

（本文转载自《阅江学刊》2026年第1期，原文注释从略。）

【基金项目：国家社会科学基金重大项目“现代技术治理理论问题研究”（21&ZD064）。】

来源：刘永谋（中国人民大学哲学院教授），王亮家（中国人民大学哲学院博士研究生）