《智人之上》：新神上场？

【本文节选自《智人之上》；作者：[以色列] 尤瓦尔·赫拉利；出版社：中信出版社。已授权在网易新闻平台发布，欢迎关注，禁止随意转载。】

哲学家梅根·奥吉布林在《上帝、人类、动物和机器》（God, Human, Animal, Machine）一书中谈到，我们对计算机的理解，其实深受传统神话的影响。她也特别强调，现在的人工智能很像是犹太教与基督教里的那位无所不知、深不可测的神：人工智能或神做的决定，对我们来说似乎都是那么既绝对正确又高深莫测。但这可能会给人类带来危险的诱惑。

第四章谈过，人类在几千年前就梦想着找到一种无懈可击的信息技术，以保护我们免受人类贪腐堕落与错误的影响。各种宗教经典正是打造这种技术的大胆尝试，但结果适得其反。由于宗教经典没办法解读自身，因此必须成立人类的机构来解读那些神圣的话语，并随着不断变化的情境做出各种调整。结果，不同的人对经典有不同的解读方式，从而再次打开了贪腐堕落与错误的大门。然而，那些宗教经典做不到的，计算机做得到：计算机能适应不断变化的情境，也能向我们解释它们的决定与想法。因此，有人或许会认为：我们终于成功找到了一种无懈可击的信息技术，计算机就像是一部神圣的宗教经典，这部经典不但能与我们对话，还能进行自我诠释，完全不需要任何人类机构介入。

这种想法将是一场极度危险的赌博。在过去，人类即使偶尔对宗教经典有不同的解读，造成像猎巫行动或宗教战争这样的灾难，也总能迷途知返，改变自己的信念。虽然人类的想象力能召唤出某个好战、充满仇恨的神，但是人类有能力摆脱这样的神，重新想象出另一位比较和善、宽容的神。然而，算法能够独立行动，而且已经从我们手中夺走了那种能力。如果算法造成灾难，人类只是改变对算法的信念并不一定能阻止它们。而且，由于计算机容易出错，人类将权力赋予计算机，很可能造成灾难。

我们说计算机容易出错，不只是说计算机偶尔会搞错事实，或做出错误的决定。更严重的错误是，像人类网络一样，计算机网络可能无法在真相与秩序之间找到适当的平衡。计算机网络一旦创造出强大的计算机间神话，并将这种神话强加到人类身上，造成的灾难性影响与早期现代欧洲的猎巫行动和苏联农业集体化运动相比有过之而无不及。

想象一下，几十亿台彼此互动的计算机组成网络，搜集大量关于这个世界的信息，并且在追求各自不同目标的过程中发展出共同的世界模型，帮助它们进一步沟通与合作。这个共同模型可能充满错误、虚构与缺漏，并且会是一个神话，而不是对宇宙的真实描述。例如，某种社会信用体系把人类分成几种不合理的类别，甚至不是根据人类能理解的道理（例如种族），而是根据某种高深莫测的计算机逻辑。但因为这会影响计算机对人类所做的诸多决定，所以我们可能未来每天都会接触到这样的计算机神话。而且，由于这种神话模型是由非生物实体创造的，目的是与其他非生物实体配合行动，因此很可能与古老的生物戏剧完全不同，以至人类根本难以想象。

正如第二章所述，没有虚构的神话，大规模社会不可能存在，但这并不代表所有神话的质量没有高下之别。有些神话为了提防各种错误或过度行为，会坦然承认自己的源头可能有缺陷，并提出自我修正机制，允许人类质疑和改变。美国宪法就是这样的神话。然而，面对人类根本无法理解的计算机神话，我们如何探究与纠正？可能的一种防范方式是训练计算机时时注意自己是否出错。正如苏格拉底所说，承认“我不知道”是通往智慧的重要一步。人类智能如此，计算机智能亦然。所有算法都该学的第一课，正是自己也可能犯错。“算法宝宝”应该学会怀疑自己，不确定就承认不确定，并且遵守预防原则。这是有可能做到的。在鼓励人工智能自我怀疑、寻求他人意见、承认自己的错误这几个方面，工程师已经取得了长足的进步。

然而，不论算法是否意识到自己可能出错，我们都不该在这个过程中完全排除人类的参与。鉴于人工智能的发展速度，人类绝不可能预料到未来的发展情况，对所有潜在的危险做好准备。这也是人工智能与历史上的其他威胁（例如核技术）的关键区别。人类很容易就能预料到核技术可能造成怎样的末日场景，最明显的就是爆发全面核战。但只要能够预料，就能够防范，并设法减轻危害。相较之下，人工智能可能带来的末日场景多到数不清。有些还算容易掌握，例如恐怖分子利用人工智能制造出大规模毁灭性生物武器；有些就比较难以理解，例如人工智能创造出新的大规模毁灭性心理武器；还有一些人类可能完全无法想象，因为那些出自非人类智能所做的运算。为了防范大量难以预料的威胁，我们最好的办法就是设置人类机构，在威胁出现时做出判断并加以应对。

古代犹太教徒和基督徒在发现《圣经》无法自圆其说的时候大失所望，不情不愿地让人类机构完成这个信息技术无法做到的事。但到 21 世纪，人类面对的情况几乎彻底翻转，我们终于设计出了一套可以自圆其说的信息技术，但也正因如此，我们最好创设人类机构对其仔细监控。

总而言之，新的计算机网络不一定是好还是坏。我们能确定的是人类将很难理解这种网络，而且这种网络是会犯错的。因此，人类建立的机构除了要能够发现各种常见的人类弱点（例如贪婪与仇恨），还得有能力察觉从未见过的错误。这个难题无法用技术来解决，它是一个政治上的挑战。在政治上，我们有处理这个问题的意愿吗？现代人类创造了两种主要的政治制度：大规模民主和大规模极权。在本书第三部分，我们将探讨这两种制度如何应对这种新的且容易出错的计算机网络。