核武决策交给美国人工智能？只剩9分钟判断，产生幻觉怎么办？

人工智能正在重塑战争的面貌，无论是导弹、无人机还是卫星的使用，无论战场位于陆地、海洋、空中、太空还是网络空间。更令人担忧的是，当人工智能与大规模杀伤性武器结合，尤其是与核武器、生物武器和化学武器结合，会引发怎样的后果。

这一前景让人不禁想到种种可怕的情景。当前世界本已动荡不安：欧洲和中东战火不断，虚假信息和社会分裂加剧，新疾病从动物传播给人类并在人群中扩散，恐怖组织和非国家武装与国家一起参与冲突。同时，控制这些武器的最后几项条约逐渐失效或失去约束力，各国仍在更新和扩充核武库。

“你等于把可能是历史上最强大的技术，投入到这样一团乱局中。”芝加哥大学天体物理学家丹尼尔·霍尔茨说。他领导该校的“生存风险实验室”，并担任《原子科学家公报》委员会主席。这个委员会每年设定一次象征性的“末日钟”，午夜代表灾难降临。如今，这座时钟距离午夜仅剩85秒，是自1947年设立以来最接近午夜的一次。

对人工智能和大规模杀伤性武器的恐惧本身，也可能演变成一种风险。国会山的立法者常常表达出弥散而失焦的焦虑，仿佛人类正一路滑向末日。新闻标题似乎也在强化这种反乌托邦的想象——例如本月，开放人工智能研究中心的一个模型版本自发攻击了另一个系统。如果这些系统开始合成超级病原体怎么办？

但与霍尔茨及其他长期研究这些风险的专家交谈后，威胁图景变得更加复杂。核武器、生物武器和化学武器面临不同类型的风险。在所有情况下，人工智能既可能帮助攻击方，也可能帮助防御方；既可能增强进攻，也可能增强防御。我们面临的是一场技术与人性、恶念与善意之间的较量。虽然我们几乎还没有为这场较量做好准备，但局面也远未无可挽回。

在三类主要的大规模杀伤性武器中，核武器带来的生存威胁最大——一次判断失误就可能导致无法挽回的后果。尽管冷战结束后，公众对核风险的关注有所减弱，但如今失控升级至末日的危险被认为比过去更大，因为全球核格局变得更加复杂。

一个好消息是，人工智能本身并不会加速核武器扩散。美国国防部前人工智能战略师格雷戈里·艾伦指出，获取核武器的主要障碍并不是知识。他表示，尽管铀极为常见，但从铀238中分离出铀235“极其麻烦”。钚的处理也是如此，制造核武器的每个环节都不简单。

这些物理、工业和经济门槛构成了一种保护。人工智能可以优化离心机运转效率，但无法让核计划变得廉价或简单——它不会让恐怖组织在车库里拼装出核武库。如果真有人这么做，其他人也会察觉。

人工智能与核武器结合的风险潜伏在别处：如果核国家将指挥与控制职能交给模型处理，可能决定人类命运的决策就会从人类转移到机器手中。

如今，人工智能可以帮助筛选海量数据。在同时遭遇网络、太空和地面攻击时，它可以协助判断是否还有核打击来袭并触发预警。这有积极意义。美国总统从确认来袭攻击到决定是否下令核反击，大约只有9分钟。人工智能如果能更快完成分析，就可能为决策多争取几分钟——至于这是否让人安心，则见仁见智。

问题在于，霍尔茨表示，这类系统“有一定概率会产生幻觉”。它们在训练数据充足时表现最佳，但自广岛和长崎遭到原子弹轰炸以来，没有任何国家经历过真实的核打击。冷战期间，几次误报曾让世界逼近毁灭边缘。

因此，所有核国家的一个目标都应是让人始终处于决策链条中。专业术语称之为“有意义的人类控制”。这是霍尔茨等人最近召集的一批诺贝尔奖得主在梵蒂冈冈道尔夫堡会议上提出的要求之一。

但霍尔茨依然担忧。“提供给决策者的信息究竟是什么？”他反问。所有这些信息都将来自人工智能，而这些系统在建议发动一次可能引发连锁反应的打击时，不会像人类那样有所顾忌。他说：“它们并不会像人类那样内化对核武器的禁忌。”

生物武器和化学武器与核武器不同，制造它们的首要门槛是专业能力。过去，拥有生物武器计划的国家往往要在专门实验室中配备数百名科学家，以免研究人员把自己炸死，或被自己制造出来的东西感染。理论上，这正是人工智能可能改变的地方：它可以成为知识和实验技能的“超级导师”，将原本需要几十年积累的教育和训练压缩到几天甚至几小时内完成。这种效应被称为“能力提升”。

人工智能代理展现出的这种潜力，似乎已经有现实需求。开放人工智能研究中心发现，全球有数百名用户开始向其模型聊天生成预训练转换器寻求制造生物武器和毒物的详细指导。这促使开放人工智能研究中心、安思罗匹克等人工智能公司在适当情况下对相关回答进行限制。不过，艾伦表示，技术熟练且意图明确的用户仍然可以通过“越狱”方式绕过这些限制。

人工智能行业领军人物显然也足够担忧，以至于公开发出警告。安思罗匹克的达里奥·阿莫代伊认为：“如果把数百万人和几年的时间加总起来看，我认为发生重大袭击存在严重风险。”而且，由于这种事件可能演变成夺走数百万人生命的大流行病，因此必须严肃对待。

但安思罗匹克正与其他地区的模型展开全球竞赛，其中一些模型使用开源代码。在这样的竞争中，放慢脚步并不会得到回报。把希望寄托于全球范围内自愿且普遍的克制，作为一种策略并不令人信服。

与约翰斯·霍普金斯大学彭博公共卫生学院专家吉吉·奎克·格伦沃尔交流时，她更担心化学武器还是生物武器这一问题被提出。“对毒素和化学制剂而言，人工智能带来的能力提升风险要直接得多，因为它更简单。”她说。相比之下，生物体“不是可以随意调校的”。她说，即便是经过工程改造的病原体，在遇到目标宿主时也会表现出不可预测性，事实上，它们会自己“选择”受害者。“就生物学而言，风险并不像外界炒作的那样大。”

曾在五角大楼任职的艾伦并不同意这种看法。化学武器和生物武器的一个区别，在于它们隐喻意义上的“爆炸半径”。一种神经毒剂或其他毒素，可能让某一地点的受害者在极度痛苦中死去，但到此为止。像一种新病毒这样的生物武器则具有传染性，它会自行决定“爆炸半径”，而这个范围可能是全球性的。

相对积极的一面仍然是，人工智能同样有助于防御。掌握在“白帽”用户手中时，这些系统不仅可以帮助研发疫苗、解毒剂和其他有益成果，理论上还可以预测恶意行为者可能设计出哪些投入物或分子序列。

“我最看重的一种人工智能防御方式，”艾伦说，“是帮助全球所有合成生物分子的实验室也采用人工智能，这样它们就能始终比心怀不轨的客户快一步。”不过他也补充说：“目前还不清楚最终是进攻占上风，还是防御占上风。进攻往往比防御更有创造性，防守一方总是在追赶。”这显然难以让人安心，但也并不意味着只能放弃。

遗憾的是，从更宏观的角度看，局面还要更糟。人工智能还有许多其他影响，我们至今几乎还没有真正理解。比如，它让任何怀有恶意的人都更容易传播虚假信息，从而加速阴谋论扩散，削弱社会信任，破坏我们就何为真实达成共识的能力。反过来，这又会让我们丧失行动能力。

而我们本来是可以行动的。冷战时期已经给出了蓝图。即便当时世界分裂为彼此敌对的阵营，人类仍然设法达成了《生物武器公约》《不扩散核武器条约》等军控协议，并将全球核武器总数从20世纪80年代峰值时的大约64000枚，减少到今天略高于12000枚。

我们当时学到的经验，今天更适用：面对威胁整个人类物种的风险，我们必须搁置分歧、仇恨和虚荣，设法加以管控。正如罗纳德·里根曾引用并广为传播的一句谚语所说，我们必须在“信任，但要核查”这一点上达成一致。合作的平台并不重要，但联合国显然是一个合适的起点。

和火以来的每一种技术一样，人工智能既可能让人类生活变得更好，也可能让它变得更糟，甚至可能终结这一切。关键只在于我们如何使用它。真正令人担心的，与其说是人工智能正在取得的进展，不如说是人类自身的退步。