《智人之上》：回形针拿破仑

【本文节选自《智人之上》；作者：[以色列] 尤瓦尔·赫拉利；出版社：中信出版社。已授权在网易新闻平台发布，欢迎关注，禁止随意转载。】

在计算机网络的背景下，一致性问题的危险特别高，原因之一就是这个网络的权力可能远远高于过去任何人类官僚机构。如果是超级智能计算机出现了目标与人类不一致的状况，就可能导致前所未有的灾难。哲学家尼克·波斯特洛姆 2014 年的著作《超级智能》中就有一个思想实验，试图说明这种危险。这本书类似歌德的《魔法师学徒》。波斯特洛姆要我们想象一下，有一家回形针工厂买了一台超级智能计算机，工厂的人类主管要它完成一项看来再简单不过的任务：生产回形针，越多越好！结果为了完成这个目标，这台回形针计算机征服了整个地球，杀死了所有人类，并派出远征队占领更多行星，再用取得的丰富资源在整个银河系设立无数个回形针工厂。

这个思想实验的重点在于计算机只是乖乖地做人类要它做的事（像歌德笔下的那把魔法扫帚）。它先“意识”到，要建造更多工厂、生产更多回形针，就需要电力、钢铁、土地与其他资源；接着又“意识”到，人类不太可能会放弃这些资源，于是这台超级智能计算机为了一心追求这个既定目标，在过程中直接消灭了所有人类。26波斯特洛姆想强调的是，计算机的问题并不在于它们特别邪恶，而在于它们特别强大。而计算机越强大，我们就越要小心为其确立目标，务必让计算机与人类的终极目标完全一致。如果只是个口袋计算器，即使我们给它确定的目标与人类的很不一致，后果也微乎其微。但如果是超级智能计算机，如果确定了一个与人类利益极不一致的目标，就可能催生一个反乌托邦。

这个回形针思想实验或许听起来很离谱，似乎与现实完全脱节，但在波斯特洛姆于 2014 年提出这个想法的时候，要是那些硅谷高管注意了这个想法，他们或许就不会那么莽撞地要求算法尽量提升用户参与度。脸书与 YouTube 的算法的表现，与波斯特洛姆想象的算法一模一样。当被要求尽量生产回形针，而且产量越多越好的时候，算法就会想要把整个宇宙的物质都变成回形针，就算摧毁人类文明也在所不惜。当被要求尽量提高用户参与度，而且数字越高越好的时候，脸书与 YouTube 的算法就想要把整个“社群宇宙”都变成用户参与度，即使会破坏缅甸、巴西与许多其他国家的社会结构，也在所不惜。

在计算机这个领域，波斯特洛姆的思想实验还能让我们看到一致性问题格外重要的第二个原因：因为都是非生物实体，所以它们采用的策略很可能是所有人类从未想到的，自然无力预见并阻止。这里有一个例子：2016 年，达里奥·阿莫迪设计了一个名为“宇宙”（Universe）的项目，想要研发一款通用人工智能，它知道怎样玩几百种不同的计算机游戏。这款人工智能在各种赛车游戏中表现出色，于是阿莫迪决定让它试试赛船游戏。但不知道为什么，这款人工智能直接把船开进一个港口，接着就只是不断绕圈进进出出。

阿莫迪花了很久才搞清楚问题出在哪里。之所以会出现这个问题，是因为阿莫迪一开始不知道怎样告诉这款人工智能，它的目标是赢得比赛。对算法来说，“赢”并不是一个明确的概念。如果把“赢得比赛”翻译成计算机能懂的语言，阿莫迪就必须把排位、与其他参赛船只的相对位置之类的复杂概念都用形式语言表达出来。于是阿莫迪决定换个简单的办法，告诉人工智能得分越高越好。在他看来，得到最高分的应该和赢得比赛差不多，毕竟之前的赛车游戏都是这样的。

然而，那款赛船游戏有一个赛车游戏没有的特点，而聪明的人工智能找到了游戏规则的漏洞。在这款赛船游戏中，如果领先其他船只，玩家就能得到大量积分（这和赛车相同），然而船只每次靠港补充能量的时候，也能得到一些积分。结果人工智能就发现，与其试着超越其他船只，不如不断绕圈进出港口，这样反而能够更快积累更多积分。显然，无论是游戏的人类开发者还是阿莫迪都没注意这个漏洞。而这款人工智能所做的，正是这款游戏鼓励它做的事，只是这并不是人类想看到的。这正是一致性问题的本质：我们奖励的是 A 行为，却希望得到 B 结果。要是我们希望计算机能带来最大的社会效益，就不该因为它们带来了最高的用户参与度而给予奖励。

担心计算机一致性问题的第三个原因，在于计算机与人类实在差异太大，所以就算我们不小心给出了与人类利益不一致的目标，计算机也不太会有所警觉或要求说明。如果那个赛船人工智能是人类玩家，应该就会意识到，利用自己在游戏规则里发现的漏洞大概不能真正赢得比赛；如果那个回形针人工智能是人类官僚，应该就会意识到，人类的初衷大概不是让它为了生产回形针而毁灭人类。但正因为计算机不是人类，也就不能单纯信赖计算机会找出并警告可能的利益不一致现象。在 21 世纪 10 年代，YouTube 与脸书的管理团队早就受到人类员工（与外部观察者）的连番轰炸，警告算法正在造成的危害，但算法本身从头到尾浑然未觉。

随着我们让算法在医疗保健、教育、执法和许多其他领域拥有越来越大的权力，一致性问题也变得越来越严重。要是不设法解决，问题绝不只是算法让赛船一直绕圈刷积分而已。