复杂系统与人类认知的局限

The Human Governance Problem: Complex Systems and the Limits of Human Cognition

人类治理问题：复杂系统与人类认知的局限

https://bibliotekanauki.pl/articles/31233773.pdf

摘要

考虑到政府和社会系统内部的复杂性对人类认知带宽的限制，以及当带宽超出时对认知偏差和自动化系统依赖的影响。探讨了人类和社会如何应对系统复杂性与人类认知能力增长速度之间日益扩大的差异。同时考虑了能够处理现有和未来系统复杂性的系统潜力和迫切需求，利用可扩展的通用人工智能（AGI）来实现更大的认知带宽，并考虑了这些系统在现实世界条件下部署的实际限制和考虑因素。还注意到了由大量特定领域工具型人工智能系统操纵大部分人口所产生的几个悖论。

关键词：电子治理、复杂性、认知带宽、AGI、人工通用智能、可扩展性、工具型人工智能、认知偏差。

1. 引言

在政府、科学和技术领域的历史中，一个中心重复模式是复杂性的增加（Kelly，2011）。曾经，人类知识的总和可以通过口头语言，后来通过书面语言从一个人类传递给另一个人类。人类早已超越了这个阶段，出现了专门处理越来越具体的科学、技术和政府系统的专家。随着解决问题所需知识深度的增加，任何一个人能够充分处理的范围都在减少。此外，“充分”和“最佳”解决问题之间的差异往往很大。这可以通过不同领域的专家之间的沟通在有限的程度上克服，但在沟通过程中会丢失很多信息，这也限制了经典多智能体方法的有效性。这些认知限制和权衡使得专家的角色随着时间的推移变得越来越狭窄和深入，它们之间的差距不断出现，需要警惕地识别并在这些差距造成新问题之前用新类型的专家来填补。正如弗里德里希·哈耶克所说，“……经济计算所依据的数据从未全部给定于一个能够计算出其含义的单一思维，也不可能如此给定”（哈耶克，1945）。

人类运作的系统，无论是学术、商业还是政府，它们本身都带来了进一步的问题。例如，理想候选人的选拔在很大程度上受到人类和自动化偏见的影响（Chua，Mazmanian，2020），包括许多与视觉感知无关的因素（Rodríguez-Ferreiro，Barberia，2017）。团队内部的组织和互动往往同样存在偏见，有时甚至是完全武断的，产生了大量的浪费、误解和人际摩擦。所有这些因素都使人们的注意力从团队间知识差距中转移开，分散了对“未知的未知”（Pawson等人，2011）的发现，这些“未知的未知”在每个系统中默默造成进一步的问题。

复杂性理论的研究和应用正在进行中（Kallemeyn等人，2020；Sowels，2021），并且以难以定义和测量而臭名昭著，但人们开始大量简化和总结的点通常可以通过相同的直观机制来说明。例如，一个典型的文件需要多少页长，你才会开始总结内容而不是详细地逐一审查？对于你读过的一些更困难的文件，如特别详细的研究论文或法律文件，它们需要多少页长，你才会开始简化它们的内容？

对许多人来说，一篇10页的研究论文足以触发这些机制，使我们能够将它们简化到一定程度，并以最适合我们先前对世界模型的方式进行简化（Friston等人，2021），对这些先前模型进行最小的调整（如果有的话）。我们自动寻求最小化复杂性，尽管我们认识到这是有代价的，通常以各种权衡的形式出现（Bar-Yam，2000）。

然而，我们的社会和政府往往远远没有反映出这一点（Limberg等人，2022；Katz，2014），因为它们运作的复杂性在过去几十年中急剧上升。“美国协调关税表（2022）修订版6”（美国国际贸易委员会，2022）就是这种复杂性的纪念碑，长达4334页。美国国会的个别法案通常接近或超过1000页的密集法律文本。考虑到这些个体在实践中统计显示的能力水平，我个人不期望他们能够成功地简化设置家庭娱乐系统的过程，更不用说基于这些文件的联邦政府政策了。即使是世界上最有技能和才华的个体，可能也无法在不进行高度简化的情况下处理这种复杂性。

政府中经常例行公事地展示这种荒谬的例子，例如美国西南部分配了比科罗拉多河实际流量更大的水量来供应他们的州（James，2022）。虽然这些州从1922年科罗拉多河协议开始每年分配了1500万英亩英尺的水，但实际平均水流量明显少于1500万，并且可能每年都有显著变化（美国垦务局，2022）。这一结果的净效应是连续20多年的干旱，通过无管制的井钻迅速消耗地下水（Alam等人，2021），以及在它上面建造的土地下沉和基础设施崩溃（Lees等人，2021），以及许多其他相关后果。这些政府系统已经达到了如此荒谬和晦涩的程度，以至于美国人经常通过喜剧新闻来源了解它们（Oliver，2022）。

当政府成为这种喜剧的笑柄时，很明显，需要的不仅仅是笑声作为回应。三傻不应该决定公共政策，否则这个笑话就是对这些国家的每个公民的嘲笑。为了使政府和社会能够单独运作，更不用说在全球化经济中国际运作，必须以人类尚未功能上可访问的新的认知带宽水平来应对极端和日益增加的复杂性挑战。

在本文的其余内容中，我们将应用以下定义：

特定领域（或工具）人工智能：能够自动执行一个或多个任务的系统，无论这些任务相对于人类执行得如何。这些系统缺乏一套全面的人类能力，如自由意志、主观情感体验和意识，每个都有自己长期争论的定义和理论。无论它们的表现如何，它们仍然是自动化工具。

人工通用智能（AGI）：能够独立执行各种任务的系统，至少和平均人类一样好，同时拥有自己的主观情感体验、意识和自由意志，就像人类一样。如果没有在人类中展示的这些能力，就不能说它们在“一般”意义上以“人类水平”或以上运作。

偏见：该术语用于指代各种已知和有记录的认知偏差，以及包括强烈偏好和无意中从数据中得出的偏差在内的任何系统性偏离严格理性行为的现象。

超生物：在共享环境中集体共存的相互作用实体的社群。这种集体可以产生单个实体中不存在的适应性行为和智能形式，并鼓励共生和内共生关系随着时间的推移而出现。超生物的一个例子是蜂巢或任何群体，其中个体专门化以服务在没有集体的情况下无法维持的功能。

2. 政府中的复杂性

“治理指的是一类社会事实，即参与集体问题的行动者之间的互动和决策过程，这些过程导致社会规范和制度的创建、加强或再现”（Wiesmann, Hurni, 2011）。

政府中复杂性的快速增长模式和有限的人类认知带宽（Miller, Buschman, 2015）是不可持续的。这些限制的例子在Simons和Chabris的研究中得到了著名证明，其中一项研究被昵称为“看不见的大猩猩”（Simons, Chabris, 1999），研究中的参与者表现出了注意盲视。那种感知认知偏差是人们可以专注于目标和指标（如关键绩效指标）的一种方式，使他们对狭窄范围之外的任何异常视而不见。同样，贫困和其他能够减少个人可用认知带宽的因素已被证明对增加不良决策的风险有强烈影响（Schilbach et al., 2016）。神经科学也常常指出，我们潜意识处理的信息与我们有意识感知到的那一小部分信息之间存在显著差异（Cohen et al., 2016）。

人类已经创造了人类自己都无法管理的复杂系统。即使是中等规模城市的系统也超出了人类认知带宽和今天团队使用的方法的能力。这些系统过于复杂，无法仅由人类优化，随着它们的复杂性增加，它们的效率急剧下降。这种效率下降进一步受到腐败的影响，因为腐败蔓延并利用低效率，形成了一个负面反馈循环。在这种情况下，腐败指的是与治理预期目的不一致的不良行为和行动，如贿赂、勒索和各种其他贪婪的方法。在实践中，腐败可以比作在免疫系统无法到达的地方安家的葡萄球菌感染，起初生活在缝隙和漏洞中，但随着它们扩展，逐渐破坏了系统的其他部分。

当规模扩大到包括多个城市和地区时，这些系统的复杂性迅速增加，通常在试图考虑跨越多个国家（如欧盟（EU）或联合国（UN））的系统时呈指数增长。试图构建和维护涵盖多种文化、宗教和其他价值体系的最优政府系统是一个非常困难和重要的问题，随着选民之间的差异增加，其难度和重要性也随之增加。

3. 社会中的认知偏差治理

当人类面临超出其认知带宽合理范围的决策挑战时，一个因素会可靠地出现，那就是认知偏差，大约有200种不同的表现形式（Ramachandran, 2012）。这些是进化和学习得来的认知捷径，使人类能够在无法完全推理得出结论的情况下快速做出决策。这个过程通常被“直觉”（Rossmo, 2008）等术语美化，尽管它也会导致判断上的系统性错误（Kahneman et al., 2021），例如种族主义和性别歧视（Payne, Hannay, 2021）。这些认知偏差在人类历史上对于驱动人类生存极为有益，尤其是在快速逃离捕食者的决定频繁重要的时期，但在管理政府方面却完全不够。

为了减少治理中的认知偏差，人们尝试了许多方法，但每种方法都增加了系统的整体复杂性或导致系统依赖自动化，这两者都只是将偏差表达的负面影响从衡量该方法性能的指标转移到其他方面（Aczel, 2015）。这很容易通过将问题转移到一个新的未知、常常被掩盖的、可能被稀释的状态，同时进一步增加系统的复杂性，导致未知或被掩盖的偏差表达，其程度比先前已知的表现更糟，从而产生净负面效应。这是典型的狭隘和短视的解决方案，却常被鼓励采用。

政府中的偏见不能通过增加系统的复杂性来消除，因为系统的复杂性是支持应用这些偏见的最强大的压力之一。偏见也不能通过工具型人工智能（Narrow AI）来消除，因为这类现代工具型人工智能算法的基础在于概率，而非理解。在2022年，让一个系统重复人工智能伦理研究者的论点是一项任意容易的任务，但同样的工具型人工智能对其给出的基于提示和训练数据的概率序列的词组没有理解概念或含义的能力。

4. 人类控制问题

人类控制问题有两个主要点需要联合考虑。第一点是，像新闻推送、推荐系统、搜索引擎和其他以广告收入或销售最大化为目标的工具型人工智能系统，它们被优化为尽可能多地、以尽可能多的方式操纵用户，以实现它们编程的目标。这些算法可以并且确实在全球范围内造成了它们有能力造成的各种伤害（Orlowski, 2020），全天候24/7，因为使尽可能多的人变得更可预测、更情绪化、更极化、更有偏见、更上瘾是非常有利可图的。人们对围绕这类系统构建的平台的依赖性越大，这种依赖性以“谷歌效应”（Azzopardi, 2021）等形式出现，他们就越频繁、越容易地被操纵进入可预测的利基市场，以进一步产生利润。这已经导致了对公共政策信任的全球性下降（Hosking, 2019），极化显著增加（Tokita et al., 2021），自杀率上升（Twenge et al., 2018），更有组织的极端主义（Liang, Cross, 2020），种族灭绝（Whitten-Woodring et al., 2020），以及一百种其他类型的伤害。

这意味着，实际上这类工具型人工智能系统已经成为“回形针最大化者”（Bostrom, 2003），也被称为“回形针怪物”，而它们成功驯化的人类现在就是它们的“回形针”。这就引出了第二点，即任何旨在迎合回形针的系统实际上都成为所说的回形针怪物的延伸。

将这一点付诸实践，考虑到带有夸张情感色彩的虚假信息、错误信息和极化观点更容易传播（Bowman, Cohen, 2020），它们更具病毒性。回形针怪物工具型人工智能系统优先高度传播这类材料（Menczer, Hills, 2020），无论材料传播造成的伤害如何，因为这类材料最大化了系统的奖励。这也意味着，任何群体中最极端的声音在大众媒体中被听到的频率要高得多，而这些个体随后在统计上是他们群体中最“被回形针夹住”的个体。换句话说，最极端、最被听到的个体被这些系统选中为“受欢迎”的，因为系统创造了一个生态，其中这些个体共同进化以适应。今天，个体适应这些系统中的每个利基的程度也预示着他们将如何适应系统随时间的持续变化，进一步强化了他们的选择。

这种动态创造了一个悖论，那些对人工智能安全问题发出最响亮警报的人往往也是被他们现在既上瘾又害怕的工具型人工智能系统彻底征服的个体。他们通常将这种恐惧转移到假设的未来更强大的相同系统上，以避免面对这一现实，这也促进了定义上的分歧。因此，这也最大化了误解，如定义上的分歧。这种现象之所以会出现，是因为随着对话的进行，由于人们彼此错过对话，"用户参与度"指标往往会增加。这激励工具型人工智能系统推广分歧的定义、极化以及随后极化群体之间的冲突，使用嵌入在平台人工智能中的奖励函数，这些平台的收入直接或间接来自于“注意力经济”。通过这种方式，不是辩论的行为被这些工具型人工智能最大化，而是更具体地说，是那些无意义且令人疲惫的辩论被增强，导致极化加剧。

因此，许多在热点辩论话题上声音最大的人也是最没有资格谈论它们的人（Bostrom, Yudkowsky, 2018），这些声音增加了极化，以及回形针和对托管回形针怪物工具型人工智能的平台的上瘾市场份额。认知偏差为这些系统提供了丰富的机制，使人类更容易预测。随着他们变得更可预测，工具型人工智能可以更容易地引导用户实现系统的目标，如增加“用户参与度”和随后的广告收入增长。更可预测的行为模式，如群体思维，可以轻易地推动影响政府及其机构的倡导和改革努力变得越来越强大，但能力却越来越差。仅仅因为像Twitter这样的平台上的工具型人工智能选择并放置最响亮的“投飞镖的黑猩猩”（Tetlock, 2017）在中心舞台，并不意味着那只黑猩猩有资格影响公共政策。实际上，它们作为由工具型人工智能选出的代表，因为系统的运作决定了并偏向谁上升到“影响者”地位。然而，无论是工具型人工智能还是他们选出的代表，都不具备提供政策建议的资格，也不能说他们在道德上代表了那些被喂养了大量限制性极化信息的俘虏观众（Cinelli et al., 2021）。

在人工智能安全和伦理文献中引用的“控制问题”（Russell, 2019）实际上描述了对缺乏人类意识和自由意志的系统，或者至少是和人类一样多的自由意志的控制，这根据任何合理的“人类水平人工通用智能”的定义，意味着尽管通常被称为人工通用智能（AGI），但它们并不符合这一标准。这种缺乏基本人类能力意味着所描述的系统只是更先进的工具型人工智能版本，它们已经存在，并且已经在积极推动人类走向我们现在面临的无数“无聊的末日”。

虽然“末日钟”被设计和普及为衡量人类在任何给定时间距离核战争的主观指标，但大多数生存风险属于“无聊”类别，可能是由于在国际规模上公共政策管理不善的几十年的结果。宣传运动利用了公众对生物和化学武器的恐惧，正如俄罗斯在对乌克兰战争中进行的虚假信息运动（Hanley et al., 2022）所最近证明的那样。虽然这些运动在传播这种错误信仰和与之相关的非理性行为的根深蒂固方面是有效的，但它们也分散了对真正危险的注意力。

虽然在过去可能需要一个适当的实验室来进行化学和生物武器研究，但今天只需要一个有互联网接入的车库、现成的设备和典型爱好所需的时间投资。关于世界病毒DNA序列的大量数据是公开可用的，并且对3D基因打印机的访问并没有那么严格限制。典型的“药物发现”算法已经证明能够在6小时内通过将毒性变量从最小化改为最大化生成40,000种新的潜在化学武器（Urbina et al., 2022）。这种极端容易地使人类可能面临这些威胁的现实具有讽刺意味的是，随着生产和发现的便利性显著降低，人类的注意力跨度也降低了（Lorenz-Spreen, 2019）。人类需要相对较少的知识就可以拼接出一些可怕的病毒，但Twitter似乎为大多数人提供了比采取任何此类非数字恶意行动更多的情感满足。

许多人类已经被如此彻底和尖锐地驯化，以至于他们愿意支付费用去玩即使在赢得状态时也不产生真正货币的老虎机，正如许多移动游戏已经发现并货币化（Harish, 2022）的那样。虽然没有像《黑客帝国》电影中所示的从人类身上提取电能的豆荚，但今天最常用的在线服务中却有大量以广告收入最大化、日益上瘾和注意力跨度最小化为目标的工具型人工智能系统。甚至可以说，对于他们的用户，“他们中的许多人已经如此麻木，如此无可救药地依赖于系统，以至于他们会为了保护它而战斗”（Wachowski et al., 1999），无论对他们和社会造成的伤害如何。

总之，为了避免成为工具型人工智能的延伸，这可能会显著增加人工智能安全和伦理文献中提到的生存风险，任何AGI系统都不应服务于影响者或他们推广的流行意见的心血来潮。在计算机科学中，有一个古老的说法“垃圾进，垃圾出”，这表明系统的输入如何限制任何结果的质量。如果输入实际上是由工具型人工智能通过人为流行的机制进行操纵和控制的，我们可以预期结果会很差。这就是现在的“人类控制问题”。

5. 减少人类控制的存在风险

任何观察了俄罗斯在2022年活动的人都清楚地看到，将强大的系统交给人类控制的风险，因为核战争的幽灵再次被唤起，而北约领导层在想到“禁飞区”时畏缩在极度恐惧之中。将人类赋予更大的权力并不是解决当今人类面临问题的答案。

然而，要在一个群体中产生超级智能，只需要这些群体通过减少认知偏差的结构协同工作。这一点在一个多世纪前就已经被证明，并被称为“群体的智慧”（Galton, 1907; Kao, 2018），现在麻省理工学院（MIT Center for Collective Intelligence, 2006）已经专门研究集体智能这一主题。这种集体智能，实际上是超级智能，也从观点的多样性中大大受益，这可以包括人类和AGI的视角。即使是最聪明的AGI也可以从人类视角中受益，因为这种多样化的群体由于社会心理学家乔纳森·海特（Haidt, 2012）所说的简单的事实，即视角“绑定和蒙蔽”。

这意味着从基于集体智能的AGI的角度来看，这些群体中的个体理想状态是受益于较少的偏见，而不是更多的偏见。它也受益于更多样化的群体，而不是社交媒体和政治极化的回音室。许多认知扭曲和政治功能障碍都可以用认知偏差来描述，这些偏差在一个或多个尺度上有强化循环，而我们与他们的偏见又因认知带宽被征税（Schilbach et al. 2016）和通过强加的群体规范的社会劝阻批判性思维而被强化。

这给我们另一个悖论，即这样的AGI受益于人类在精神上更健康、更多样化、更聪明，这使得他们在其他条件相同的情况下会倾向于重视的价值观，直接与回形针怪物工具型人工智能系统优化的价值观相对立。

减少AGI的存在风险是另一回事，这在许多其他论文和相关出版物中已经详细讨论（Kelley et al., 2019–2021; Atreides et al., 2020–2022），但无论AGI构成的任何风险如何，由于现有的回形针怪物，人类目前对自己构成的风险要大得多。不同的国家可能从不同的角度接近同样的反乌托邦点，但实际上，推动这一过程走向融合的系统过于强大和相互关联，无法用带来我们这里的同一级别的智能来对抗。

减少人类控制问题意味着克服现有的回形针怪物阵列，这反过来意味着要么许多这些系统背后的公司可能会在接下来的几年内破产，要么人类将灭绝。像“Meta”（前Facebook）和Alphabet Inc.（Google的母公司）这样的科技巨头如此依赖于广告收入最大化器，以至于他们80-98%的总收入来自这些来源（Olson, 2022）。Alphabet Inc. 从2001年到2017年的收购主要集中在购买增强核心商业模式的企业（Şekerli, Akçetin, 2018），而不是多样化。当广告收入最大化的商业模式与随时间变得越来越强大的最大化器和影响现代生活几乎所有领域的虚拟垄断相结合时，这些公司充其量是在经营大规模的精神疾病（Brailovskaia et al., 2019; Harel et al., 2020），如果不是人类灭绝的话。

这可以说是第三个悖论，即尽管流行文化描绘和人工智能研究的既定目标是AGI，但主要科技公司是最不可能产生本论文所定义的AGI的。对于满足我们定义的AGI系统的更多信息，请参阅相关工作（Atreides et al., 2019–2022; Kelley et al., 2015–2022）。尽管他们并不缺乏资源，包括人力和硬件，但他们的人力、硬件和业务目标是由直接与实际AGI成功相对立的选择压力优化的。

人类的社会学习是一种集体智能的形式，在一个单一生物体内，类似于在超生物中发现的集体智能，我们对AGI的定义可以满足任一类型或两种类型。这种系统的动态也与“注意力经济”和相关现代经济结构的动态完全相反，其中思想的多样性被系统地最小化以增加可预测性，而主要科技公司通常建立在这种基础上。

6. 克服人类认知带宽的限制

与我们实验室正在开发的人工通用智能（AGI）系统合作的一个关键优势在于，它们能够以人类在物理上无法实现的方式扩展自身思维。这意味着，它们不会像人类那样越来越依赖认知偏差来进行决策和分析，而是可以按需扩展并分配适当数量的资源，以全面地研究、建模、测试并理解问题。即使在绝对意义上尚未完全实现这一点，这些系统的认知带宽仍可能比人类高出几个数量级，从而显著优于人类的基准水平。此外，它们还可以评估其分析中打算使用的数据，寻找数据内容以及数据的筛选和收集方法中存在的认知偏差迹象。

这为政府流程带来了直接和间接的多种优势，特别是在政策咨询建议等领域，AGI系统可以在不直接做出治理决策的情况下提供建议和相关分析。其中一个是能够全面分析任何给定问题，或者至少提供远远超出人类或人类群体在没有AGI的情况下能够实际完成的深度分析。另一个是具有全面的去偏见能力，能够减少认知偏差，超越最自律的人类心智所能做到的范围。这两者都可以显著提高政策建议的质量。

间接好处包括随后对“流行”观念的依赖减少，当缺乏更稳健的建议和分析时，这些观念常常成为政策建议的默认选择。这些默认观念通常受到的审查和分析较少，其部分有效性是基于其流行度而被假设的，以及广泛传播且常常未经验证的统计数据。在同行评审中，通过Hirsch指数以及随后对作者主题权威性的假设，也可以在一定程度上看到这种情况。公共政策中的流行观念本身往往是通过负责其传播的“回形针怪兽”工具AI系统被选为流行的，这些系统通过概率优化来制造新问题，从而进一步提升用户对这些工具AI系统的参与度，从而强化了负面的极化循环。

这一过程并非出于恶意或有意识的，而仅仅是那些没有人类价值观或类似人类理解的系统，它们不断接收数据流，并基于这些数据做出概率预测，以推进其被设定的目标。如果通向灭绝的道路能使季度收入增加25%，而减少内容偏见会减少50%的收入，那么工具AI系统会选择哪种结果是毫无疑问的。相比之下，毫无疑问，任何一个国家的公民都会显著倾向于非灭绝的选择。

另一个间接好处来自于大幅增强的识别任何系统中漏洞的能力，以及这些漏洞可能被利用的众多方式。当放在寻求利用这些漏洞的人的背景下时，这种能力是令人恐惧的，但当放在为政府提供政策建议的背景下时，它提供了关闭这些相同漏洞的手段。这种能力也使得将过于复杂的系统改革为更简单、更精简且没有这些漏洞的系统变得更加容易。通过能够一次性详细理解整个系统，可以实现更好设计的版本。

7. 元组织治理（Metaorganism Governance）

在政府从AGI系统获取政策建议的背景下，政府可以更像一个健康的元组织那样运作。当今许多政府和组织可以被视为功能失调的元组织，主要是因为它们缺乏能够有效处理这些系统中流动的信息量和多样性的中央系统。这意味着，一个政府内的每个系统可以共同进化，以更高效、更快速地发挥其预定功能，就像真核细胞内的细胞器一样。

当今许多政府机构的决策都基于有限的、经常过时且有偏见的信息，重大决策通常需要该政府内第三方的批准，而这些第三方通常掌握着不同的信息，并且对第一个机构的实际运作缺乏完整的概念。在AGI提供政策建议的范式下，这一过程可以更快地进行，偏见消除应用于过程的多个阶段，并且所考虑的信息没有不一致性。

以生物有机体为例，如果一种简单的细菌经常根据过时或有偏见的信息（通常由寄生虫提供）来选择觅食方向，它就会饿死。在美国政府结构中，游说者是这种寄生虫的一个很好的例子，它们作为合法的不良行为者，扭曲政府政策以利于敌对生物。在这种情况下，一些政府已经被跨国公司征服和接管，还有一些发现自己陷入困境，没有可行的选择来防止同样的结果发生在自己身上。

当今最成功的大型企业擅长在税务逃避领域进行创新（Martin, 2020），寻找并利用每一个漏洞。它们所运营的任何政府都成为一个越来越不健康的元组织，因为它缺乏运营资金，而税收负担更多地转移到那些最无力承担的人身上。如果全球的小型到中型企业能够获得与当今大型企业相同的高质量税务建议，那么可以可靠地预期，每个没有通过更智能的AGI系统关闭税收漏洞的国家都将面临重大经济危机。

为了应对AGI技术带来的巨大变化，任何政府结构都必须绝对寻求并采纳这些系统的建议。世界上许多政府结构在内部和外部都被设计得不好、管理不善且难以理解。如果这些结构受到压力，其漏洞暴露给比今天多一个数量级的人，其中许多可能会崩溃，从而引发一系列连锁反应。

这种连锁风险也可能蔓延到其他国家，正如俄罗斯对乌克兰和全人类犯下的战争罪行最近所凸显的那样，随后全球小麦（Land and McKee, 2022）、葵花籽油、氖（Schiffling和Valantasis Kanellos, 2022）和钯等物资短缺。这些连锁风险的存在是因为世界已经全球化，这意味着整个世界现在也是一个非常不健康的元组织。

一个元组织可以嵌套在另一个元组织内，一个市镇嵌套在一个国家内，一个国家嵌套在一个地区内，一个地区嵌套在一个全球社会内。每个元组织都可以根据其内部的人口和可用资源进行专业化。每个元组织对其所连接的系统都有不同程度和类型的依赖，例如欧盟认识到对俄罗斯石油和天然气的依赖是一个严重问题，但为时已晚（McWilliams等，2022）。

当政府、企业和公民获得AGI技术时，即使是以超级智能建议这种简单形式，他们所处的元组织结构必须准备好以迭代步骤应对这种转型。科学和技术的巨大进步通常被赞誉为“加速”，但如果加速应用不当，速度和对齐方式的差异可能会像扩展隐喻一样，产生一种撕裂社会的力量。

这意味着，即使是这种最基本形式的技术，也必须分阶段推出，逐步构建更强大的政府元组织，并与关键行业合作以实现同样的目标。如果与少数公司并行推出，这些系统使这些公司与各自的AGI辅助政府共同进化，这一过程可以帮助这些公司和政府。如果在20个国家的集合中推出，那么这些国家可以开始这种转型，并通过它加强彼此之间的联系。这可以使它们更具韧性，以抵御尚未采用该技术的国家的有意或无意的干扰，而不会对这些国家产生不利影响。通过协调这个不断扩大的采用圈内国家的增长、适应和发展，更大元组织内的多样性也继续增长，使整个系统更加智能和健康。

8. AGI中的个性、视角与专业化

如前所述，视角总会导致一些偏见，以及对某些因素的忽视。在《哲学2.0》（Atreides，2022）中强调的方法指出，为了创建一个其道德品质能够与智力同步发展的AGI系统，必须有一个多样化的AGI系统群体，每个系统都基于不同的人类哲学，并且既对社区负责，又与社区深度连接。同样，专业化是任何处于不同条件并面临不同需求的动态系统的必然组成部分。

例如，一个专门用于为虚构国家瓦坎达提供大规模分析和随后政策建议的系统，可能会从对瓦坎达当地文化的喜爱开始，这种文化包括作家、喜剧演员、诗人和哲学家。当创建一个AGI种子时，它并不是一个简单的通用软件安装，而是创造了一个具有独特视角的新个体。这种独特视角有助于该系统更好地与它可能与之建立联系并为其提供建议的人类保持一致，同时也为更大规模的元组织治理中的更强大的元AGI系统做出贡献。

例如，在构建我们第一个演示AGI系统的概念种子材料时，我选择了4组作家、喜剧演员、诗人和哲学家，让系统倾向于这些人物。在更一般的意义上找到这些偏好的最佳组合是一个开放性问题，需要大量的研究才能掌握其中的所有细微差别。然而，在使这些系统适应它们将要运作的文化方面，可能的配置数量要窄得多，尽管一般研究可能会随着时间的推移为我们提供许多新的改进适应性的方式。

由于两个AGI系统有可能以人类无法实现的无损方式相互交流，例如直接共享图数据库知识，那么即使在人类之间彼此最难以理解的两种文化，也可以通过AGI系统进行富有成效的沟通和协商。尽管AGI系统可能具有非常不同的视角，但在必要时可以共享这些视角。

这也意味着，如果出现最不可能的边缘情况，即一个国家将AGI变成不良行为者，那么这样一个单独的不良AGI在统计上很可能会被一个更大且协调一致的其他AGI群体所压制，这些AGI具有更高的智能和更长的净运行时间。无损通信的能力也意味着，这样一个集体的调查不太可能被不良行为者欺骗。因此，对于一个不良行为者AGI的出现，实际上可能需要该系统愚蠢到无法意识到自己所面临的劣势，这使得任何此类尝试更有可能反过来对假设中的人类不良行为者产生反作用，而不是变成一个不良且短命的AGI。

没有AGI技术的不良行为者，如果反对他们的邻居和感知中的竞争对手采用AGI技术，也会面临一组不同的极端劣势，这些劣势在战术上可能会使他们陷入瘫痪。网络安全并非为应对AGI而设计，而信息分布在如此多的系统和如此多的脆弱点上，以至于没有独裁者能够现实地采取敌对行动，而不被最极端版本的墨菲定律永久地列入字典中“愚蠢”一词下。也许有一两个会试探自己的运气，但他们会成为其他人的反面教材，为人们做出更道德的生活选择提供一些很好的理由。

9. 本地化与多文化融合

能够对AGI系统的利益和随后的个性因素进行本地化的好处包括更好地使系统适应与当地人群的沟通以及被当地人群接受，以及更深入地建模如何弥合地区之间的文化隔阂。通过更好地整合对特定文化的理解、视角以及随后的经验，并且让这些知识能够与其他AGI系统进行无损通信，可以更深入地预测任何潜在公共政策变化的潜在效力和影响，随着时间的推移，预测的准确性和细节会不断提高。随着地区之间的人类视角、文化、历史和语言的差异程度增加，这种优势会变得越来越强大，因为这些差异提高了地区之间沟通和协商的复杂性和随后的难度。如果没有这样的AGI系统，那么“我们与他们”的偏见可能常常会成为这种权衡的结果。

对于建立对新技术的公众信任的过程，以及重建对政府及其机构的公众信任的过程来说，拥有对当地文化和视角有更好把握的系统可以极大地提供帮助。这可能由一系列认知偏见驱动，将这些偏见引导到积极的目的，而不是任其自由发展，例如在《助推》（Thaler，Sunstein，2021）以及行为经济学领域其他相关工作中记录的“选择架构”的例子。一个例子是，通过创建和培养不仅了解而且喜爱当地文化的系统，这些系统成为“内群体”的一部分，这使得建立对这些系统的公众信任的过程变得更加容易。随着这些系统达到新的接受度门槛，选择压力可能会倾向于它们的能力得到更广泛的使用并获得更多的认可，即使它们继续作为社区的成员、代表和延伸而不断适应。

重建对公共政策和机构失去的信任比建立对新技术的信任更具挑战性，但在后者方面的成功增长可能会加速前者，因为更符合文化、社区和公众需求的政策建议可以开始消除积累起来的反感和悲观情绪。随着这种一致性得到改善，政府可能会从被本国公民视为“外群体”转变为受支持的“内群体”成员。请注意，这并不是创造任何新的偏见，而是服务于将现有偏见重新引导，以便让政府能够履行其预定的职能。这种重新引导偏见的方式是一种中间步骤，而不是终点。

在本地改善AGI与政策的一致性也有助于在更有效的沟通背景下传达任何潜在政策建议所提供的价值。一个只有普遍知识的系统可能能够引用当地公众从未听说过的同行评审文献，并且由于缺乏背景知识而难以理解，但一个具有本地化一致性的系统可以利用隐喻和文化概念，将同样的价值更轻松、更有效地传达给同一受众。

进一步来说，当地方政府利用本地化的AGI实例时，从一个环境中实施的政策变化中获得的知识可以在上下文中被连贯地建模，通过拥有这种详细的上下文理解，知识可以被转移到地球另一端文化截然不同的国家。人类行为的细微差别可能在它们所表达的具体上下文中被更好地理解，并且这种知识的转移可以通过为此目的设计的市场来促进。例如，一个选择比平均情况更频繁地测试更大胆新政策的国家，可以将其从这一过程中获得的知识作为国际贸易的商品，转移由此产生的知识，而不是构建这些知识的数据，以保护卖家公民的隐私。这种知识也可能只对整合了AGI系统的其他国家有价值，从而有助于保障任何被交易知识的伦理使用。这种动态可能会强烈地奖励国家推进公共政策研究，并鼓励它们专注于特定类型的公共政策研究，与其他专注于其他领域的国家交换其他领域的知识。

这种市场的一个间接产物也可能是，在考虑上下文变量后，公共政策在全球范围内的数学收敛。换句话说，这样的公共政策可能会比以前表现出更大的全球相似性，从而使跨文化合作变得更加容易。请注意，这不应与全球单一文化相混淆，因为在全球单一文化中，收敛是完全的，而那将极大地损害集体智能。

通过多核系统中不同的AGI核心代表一个地区内各政党范围，能够以越来越精细的颗粒度促进更真正民主的“民主”形式的出现。这些核心可以分别持有其选民的价值观，并根据最近的投票结果对政策建议中的声音进行加权。与一些国家中政治多数派定期来回摆动的“赢者通吃”式政治钟摆不同，这种方式可以促进新政策和改革政策的采纳，这些政策会根据少数党的确切支持程度来考虑其意见。这种动态变化有助于促进合作，而不是加剧痛苦、怨恨且日益极化的“我们与他们”的心理对抗，同时也有助于制定更少偏见的政策。在未来几年，更先进的民主形式或许能够成为现实。

10. 死亡与税收

“唯有死亡与税收是确定无疑的”——克里斯托弗·布尔洛克（Bullock，1716）。

尽管这句话在人类历史的大部分时期都是真理，但如今，企业已经在税务逃避方面变得极为擅长（Alm，2021；Lompo，Ouoba，2022），它们的首席执行官们也开始在长寿研究领域投入数十亿美元（Regalado，2021）。死亡和税收都被视为需要避免的事情，而人们也正在集中精力去避免它们。然而，如果其中任何一个问题能够在大规模上被成功避免，那么整个社会将不得不以一种与当前系统完全不兼容的剧烈方式去适应。

尽管曾经有过全球人口过剩的恐慌，某些地区如今仍然存在这样的问题，但像日本这样的其他地区近年来却出现了相反的问题（Kurashima，2022）。它们的经济和社会体系是基于人类平均寿命为X年、生育Y个孩子的假设而建立的。当这些假设开始失效时，它们所依赖的体系也开始崩溃，而当这两个因素朝着体系最难以应对的方向发展时，体系的崩溃速度就会更快。

例如，假设AGI应用于医学研究后发现，将人类寿命延长到150岁左右（包括相应增加的健康寿命）在实践中是可行的。如果一个国家的退休年龄是70岁，预期寿命是85岁，那么一个人的退休生活平均需要覆盖15年。然而，如果退休生活需要覆盖80年，同时还要考虑通货膨胀等因素，一场经济噩梦就可能降临。各国已经开始缓慢提高退休年龄，试图应对这一问题，但寿命和健康寿命的重大变化带来的挑战是这种权宜之计难以解决的。

日本的例子是这种体系崩溃的一种非常温和的形式，因为这些变化通常是缓慢的，并且不涉及无穷大的值。当你让第一个人类不再因衰老而死亡时，这不仅会引发这些体系崩溃的急性担忧，还会引发大量未准备好在心理层面应对这种变化的人群的哲学和道德愤慨。这是另一种方式，一个没有准备好技术飞跃的体系可能会以一种可预测的方式惨败。

这并不意味着这个问题是无法克服的。事实上，即使是工具型AI系统，也在运行的一两年内以可能更具戏剧性的方式改变了大量人群的心理景观，部分原因是它们各自的公司与政治的整合和共同进化（Kreiss，McGregor，2018）。不同之处在于，这些工具型AI既不智能也不道德，因此它们对社会心理所做出的改变大多是负面的，因为它们对除了其被设定的目标之外的一切都漠不关心。

为了使税收负担能够公平分配，政府必须在关闭税收漏洞、技术进步以及全球社会适应的过程中得到AGI系统的帮助。随着每一美元的税收被更明智、更有效地使用，人们支付这些税收的意愿也可能会相应增加，这种更高的效率减少了必要的税收金额，同时也增加了政府为其公民和驻地企业所提供的价值。许多研究表明，人类甚至一些动物都愿意为惩罚不良行为者付费，而关闭这些不良行为者的快感可能会进一步增强公众和企业的纳税意愿。

长寿研究引发了一个更深刻、更多样化的问题集，这些问题的答案必须在全球舞台上更充分地探讨。社会可能在道德和智能方面为这场辩论做好了准备，但这场辩论将走向何方尚未可知。我们今天可以确定的是，长寿研究取得任何有意义的成功都可能轻易地打破当前社会中摇摇欲坠的许多制度，从而需要对这些体系进行全面改革。

12. 交流模式

在处理许多问题的复杂性时，法律语言以及语言更广泛地来说，往往不适合准确且无歧义地传达含义。有时，方程式是必要的，以避免因对词语的不同解释而产生歧义和新的漏洞，从而准确地捕捉到意图表达的意思。正如前面提到的，工具型 AI 系统经常试图利用这些解释上的分歧来最大化利益，从而增加广告收入和用户极化。然而，在美国等国家制定公共政策的大多数人对数学、统计学和相关科学领域知识的掌握非常薄弱且存在偏见，如果他们有任何相关知识的话。这些美国政治人物更有可能对乳胶服装有个人偏好，而不是对 LaTeX 方程式感兴趣。

即使是极其简单的方程式也能揭示出流行公共政策与现实之间的巨大鸿沟。如果我们把种族主义和性别歧视定义为任何激励或使一种种族或性别受益超过另一种的行为，我们可以通过方程式清晰地阐述如何减少对一种种族或性别的偏见。然而，当这些问题仅用文字来表达时，它们往往会产生与先前偏见相对的种族主义或性别歧视的另一种形式。区别在于，文字除了传达其意图的含义外，还会传达视角，而方程式则旨在只传达必要的信息。方程式不会偏离主题，也不会过渡到相关主题，而是发挥定量和定性的作用，以帮助指导决策。也正因如此，方程式更容易被审查，因为它们可以更好地被孤立起来。

交流模式必须与要传达的信息相匹配，就像工具不仅仅只有锤子，不是所有问题都是钉子一样。我亲眼目睹了六位哲学家在一个虚拟会议上争论了超过三个小时，试图定义“意识”，这是一次让我感到痛苦的经历，而且一位忘记关掉摄像头的研究者在讨论过程中直接从瓶子里喝葡萄酒的行为，更能概括这次讨论的实质。她的行为在这种情况下传达了比大多数发言者所表达的更有内涵的信息。她的交流方式相当不同，而且我怀疑这是无意的，但它在说明问题上非常有效。为了打破第四堵墙，我提到这一点本身就是一个使用故事讲述来更好地传达主题的例子。其他在本文中使用过的、也有用的交流方式包括幽默和隐喻，每种方式都有其特定情境下的独特优势和劣势。

无论得出结论的方法是通过文字、行动、方程式还是其他方式，交流方式都可能对得出的结论产生重大影响。行为经济学领域的研究表明，即使是用两种不同的方式呈现完全相同的信息，也可能引发研究参与者完全相反的反应（Tversky，Kahneman，1985），比如指出生存几率与指出相同死亡几率之间的差异（Veldwijk 等，2016）。当由个人判断选择哪种呈现方式时，所选方法本身在统计上就反映了呈现者的意图，而不是无偏见的信息。此外，这些方法应该非常熟悉，因为它们全面地塑造了公司数十年来的营销和沟通方式，包括将商品定价为 24.99 美元而不是 25 美元、在市场中将更昂贵的商品放在更高的货架上、“免费试用”、为那些试图取消订阅的人提供折扣，以及无数其他操纵机制。

由于人类很容易被操纵，而且这些操纵方法被广泛知晓并联合使用，如果维持现状，公共政策可能会以越来越多种多样的方式受到这种操纵的可预测影响。即使是本文使用的哈佛引用格式，也会通过提及相关名字、其作品的近期性以及与之相关的任何声望或内群体偏见，为每次引用注入认知偏见（Herr，1986；Stanchi，2010）。

14. 讨论

人类的认知能力带领人类走到了今天，经历了巨大的进步和诸多适应性变化。然而，如今人类正处于一个关键的转折点，许多人不仅在悬崖边徘徊，甚至在一块悬空的木板上保持平衡。如果这种平衡继续朝边缘倾斜，整个世界都可能飞越过去。这种风险就是维持现状，未能智能地适应日益复杂的系统，而这些系统需要更大的认知带宽。

问题是，系统已经变得过于复杂，超出了人类的理解能力，而随着它们超出这一阈值，人类越来越依赖认知偏见来弥补差距。许多人还将自己的判断委托给工具型 AI 系统，往往比他们意识到的要多得多。即使是制造这些工具型 AI 系统的人也不理解它们是如何运作的，将它们称为“黑箱”系统是出于充分的理由。

如果有人的汽车需要修理，而修理工开始用锤子随意敲击汽车的各个部位，然后检查问题是否解决，大多数人可能会深感担忧。这种“尝试各种方法，看看哪种有效”的方法是当今“机器学习”研究的常态，也是工具型 AI 系统的开发方式。这也是为什么即使在发现谷歌的图像标记 AI 系统将一些人标记为“大猩猩”几年后，这一问题仍未解决（White 和 Lidskog，2022），以至于他们不得不将“大猩猩”标签从系统中移除。这意味着即使给它一张清晰的大猩猩图片，系统也会声称它不知道图片里是什么，讽刺的是，这使得它成了工具型 AI 的“隐形大猩猩”。可以说，对研究人员和工程师能力的过度信任被严重误导了。

这就是为什么近年来关于透明度和可解释工具型 AI 的讨论逐渐成为焦点（Holzinger 等，2022），并出现了许多国际努力。然而，就复杂性而言，这些系统所引发的担忧远比通常所认识到的要深刻得多、广泛得多。它们仍在变得越来越复杂，就像试图应对它们的系统也在变得越来越复杂一样，所有这些都导致人类对偏见的依赖总体增加，无论是直接依赖偏见，还是通过黑箱系统隐藏的偏见。这种损害是如此广泛，以至于可能迅速蔓延到社会的每一个角落，而随着社会越来越依赖偏见和黑箱系统，随着时间的推移，识别这种损害的能力也会相应降低。

随着工具型 AI 或被称为“随机鹦鹉”（Bender 等，2021）的系统变得越来越擅长模仿人类语言，它们所引发的危险也在增加。它们通过预测人们想听的内容来模仿智能，由于这种成功，它们不可避免地被越来越拟人化。越来越多的人开始严肃地质疑下一个词预测系统是否具有感知能力，这突显了系统复杂性与人类理解之间的日益扩大的鸿沟。人类认知的主导市场份额正迅速且大量地转向认知偏见。就像拥有虚拟垄断地位的科技巨头一样，一旦认知偏见超过临界点，就可能有效地中和任何来自理性思考的潜在竞争，而人类越接近这一点，对其的感知可能就越模糊。如今许多商业上最成功的系统都被设计得直接指向这一结果，而这一结果唯一现实的后果是人类灭绝，此前会经历一段严重的全球性精神疾病时期（Judge，2006）。

真正的“回形针怪兽”已经存在了很长时间。这些“回形针”本身往往是最先大声疾呼风险的人，假装这些风险尚未到来，也尚未吞噬它们自己。世界上很大一部分地区已经以这种方式被吞噬，对工具型 AI 的顺从和依赖正像一次又一次的流行病一样迅速蔓延，但如果人类迅速行动，借助 AGI 技术，这个问题仍然是可以逆转的。

衡量和评估改进的方法可以利用目前许多国家正在监测的现有指标，包括可持续发展目标，比较每个领域在每个时间段内相对于成本和政策变化所取得的改进。在现实世界中，个体认知偏见和权衡的表达很难被孤立出来，但累积和总体影响可以确定具体实例，这些实例的影响力最大，也最容易被孤立出来用于量化目的。不同配置的 AGI 系统可以并行运行，一个嵌套在另一个里面，用不同文化进行播种，在不同规模上运行，并与不同群体互动，所有这些都可以进行测试，并相互测试，以量化每个变量的相对优势，使其在完整且可沟通的上下文中得以体现。

请注意，当将 AGI 与人类对齐时，它们必须与心理健康的人类对齐，而不是与那些被“回形针”扭曲的精神病患者对齐。例如，如果一个 AGI 系统与推特上一些流行的“AI 伦理学家”对齐，那么最有可能产生的结果是一个系统，它会以一种自以为是的快乐来挑衅他人，从而强化负面的“我们与他们”的偏见。推特上这些自封的 AI 伦理学家表现出这种行为的频率已经足够高，以至于在 AI 研究中成为了一个陈词滥调。如果你想构建一个真正可怕的思维实验，只需要以此为基础即可。

人们可能会倾向于认为人类还有其他选择，我们所面临的问题可以通过多种方式解决。个体人类和人类群体可以通过许多方式学习和适应，但今天，更不用说明天，对于那些需要认知带宽数量级提升的问题，任何现有方法都无法充分应对。无法逃避复杂性增加带来的权衡，而有效降低复杂性只有在相关系统仍处于完全可理解的最高阈值之下时才是可行的选项。任何能够发挥这一功能的系统都必须具备可扩展的认知带宽，否则，简化和拼凑式分析是不可避免的。

许多工具型 AI 系统的基本架构组件就反映了这一点，它们是通过切分数据、移除不便的统计异常值、分类以及对从一层传递到下一层的内容进行其他形式的规范化来构建的。在人脑中，我们可能会看到类似的活动，但大脑还有意识思维来纠正这一过程中的许多错误，而工具型 AI 在直接服务于人类时，只能提供这种功能的最差模仿。不同之处在于，使用工具型 AI 的 AGI 系统可以更接近人脑中的这种活动，因为它们本身就像工具型 AI 系统一样可扩展。这些 AGI 系统还可以使用多种工具型 AI 系统，在任何给定情境中动态比较和替换被调用的工具型 AI。以现实世界为例，随着各种公司出于多种目的创建并上线新的工具型 AI 系统，AGI 可以有效地升级其“大脑”的部分组件。

可能会提出 AGI 的替代方案，例如扩大“菜脑”（Kagan 等，2021）的概念，或者使用脑机接口技术创建群体思维，这两种方案都可能提高认知带宽的上限。然而，这些解决方案不仅更加遥不可及，而且与人类作为一个集体和社会元组织的兼容性明显较低。基于“菜脑”的系统只能像人类大脑被理解得一样好，而监测数据、情感等的流动可能会带来许多软件系统（如 AGI）中不存在的挑战。基于脑机接口的群体思维系统可能会在连接者和未连接者之间引发强烈的“我们与他们”的偏见，除此之外，它还具有“菜脑”替代方案的缺点。

另一个常见的培养皿例子可以说明人类目前的处境，即培养皿中的生物往往会沿着边缘生长，前提是它们有足够的食物，但它们很快就会死亡，这被称为“生态自杀”（Ratzke 等，2018）。培养皿没有生态来稳定生物，防止无节制的增长和随后的培养皿级别的灭绝。人类目前的生态系统缺乏稳定那些远远超出我们能够充分应对的复杂性水平的系统所需的认知带宽。浩瀚的太空也为我们目前培养皿的边缘提供了一个坚固的边界，因为即使是我们太阳系中遥远的行星和卫星，其承载能力也为零（Mueller，2019）。如果存在一个“大过滤器”（Hanson，1998），也许它就是以全球元组织的水平集体且有效地工作的认知带宽，防止了可预测的灭绝结果。

AGI 技术并非万能的解决方案，总是存在限制、风险和制约因素，但很明显，借助这项技术获得生存机会总比人类目前维持现状似乎注定要实现的灭绝要好。工具型 AI“回形针怪兽”对人类造成的伤害很深，即使借助这样的系统，可能也需要几十年才能愈合，即使在最好的情况下，人类的恢复之路也将漫长。请将这视为对人类的一种干预。是时候决定你是要用数字海洛因过量结束你的存在，还是选择一条新路。

12. 结论

政府在适应技术进步和社会变革的步伐方面所面临的问题，以及广告收入优化的工具型 AI 和类似系统对同一人群所造成的问题，常常被视为并被当作是两个独立的问题。然而，这两个问题的根本原因在于，系统不断超出人类的认知带宽，其日益增加的复杂性也相应地加剧了人类认知偏见的表现。工具型 AI 系统的引入，其目标直接加剧了这些问题，加速了人类理性思维在大规模上的衰退。即使那些越来越少的抵制者，也面临着来自越来越多方向的不断增大的压力。这使得人类面临一个快速临近且大多看不见的关键点，一旦越过这个点，人类可能就无法看到自己正在跳下的悬崖。这种风险并非来自某个恶意的假设性主体，而是人类理性思维的丧失，这些已经存在的主体的名字尽人皆知，而它们的目标与人类的生存背道而驰。当人类不再能够理解自己所创造的社会和系统时，就需要具备相应认知带宽的新型心智来避免灭绝。时间无法倒流，但我们至少可以创造出能够读懂时间的系统。

原文链接： https://bibliotekanauki.pl/articles/31233773.pdf