“它让我夜不能寐”：本吉奥谈AI对人类的威胁｜Nature 访谈

来源：科技世代千高原

Yoshua Bengio 谈到了他为识别和应对人工智能带来的风险所做的努力。

约书亚·本吉奥是加拿大蒙特利尔大学的计算机科学家。2019年，他因开创性的“深度学习”技术而荣获图灵奖——计算机科学界的最高荣誉，这些技术如今正使人工智能（AI）无处不在。上个月，他还成为首位在谷歌学术上被引用超过一百万次的学者。

此后，本吉奥将研究重点转向人工智能带来的风险。他担任一个国际顾问小组的主席，该小组由来自30个国家、欧盟、经合组织和联合国的代表组成。该小组于今年早些时候发布了《关于先进人工智能安全性的国际科学报告》 。

《自然》杂志在伦敦采访了本吉奥，探讨了他参与发明的这项技术的潜力和潜在风险。以下是经过编辑的对话内容。

在你撰写的众多论文中，有没有哪一篇是你特别引以为豪的？

我从 90 年代末开始与人合著了一系列关于语言建模和注意力的论文，探讨了如何在神经网络中引入注意力机制，使它们更像“系统 2 ”，意味着更深思熟虑，而不仅仅是直觉机器。

这是谷歌研究人这是谷歌研究人员在 2017 年发表的论文1中引入的 Transformer 技术的核心吗？该技术后来成为了ChatGPT中的“T”？

是的，但我还想提一下另一篇论文，它受到的关注远不及这篇——那就是关于课程学习2的研究。在这项研究中，机器是通过按特定顺序而非随机输入数据来训练的。这已经成为一种标准方法。我的灵感来源于动物的学习行为。

几年前，人工智能失控带来的生存风险还不是你最担心的事。是什么改变了你的看法？

ChatGPT于2022年11月发布。我花了两个月或三个月的时间才意识到，我们正走在一条可能极其危险的道路上。虽然最初我很高兴看到深度学习终于达到了这个里程碑，但我意识到，由于这些系统的特性，我们无法确保它们按照我们期望的方式运行。

我开始思考我的孙子，我想，20年后，他就22岁了；他会有自己的人生吗？他会生活在民主社会吗？

“人工智能教父”成为首位论文引用量突破百万的人

未来谁能掌控高度先进的人工智能，谁就拥有巨大的权力。他们或许会以对自己有利的方式运用这种权力，但对我们大多数人来说却并非如此。民主的本质在于权力的共享。如果权力集中在少数人手中，那不是民主，而是独裁。

但人工智能的力量一旦落入不法之徒之手，也会带来其他生存风险。有些人出于意识形态或心理健康原因，会按下“红色按钮”——要求人工智能做出可能导致数十亿人死亡的可怕事情，例如释放一种新型的超强病毒，甚至是复制能够毁灭地球上所有动物的细菌。

国际人工智能安全报告指出了三大风险领域：故障造成的意外风险；恶意使用；以及系统性风险，例如生计损失。哪一项风险最有可能在短期内产生重大影响？而哪一项风险最令您担忧？

恶意利用人工智能技术的情况已经出现，但我认为我们目前看到的只是冰山一角，例如深度伪造和网络攻击，这些很可能都是由人工智能最新的网络能力驱动的。我们需要更完善的保障措施来降低这些风险。这些保障措施必须兼顾技术和政策层面，这意味着需要通过监管或其他激励机制来确保企业采取正确的措施来避免或降低这些风险。

当然，真正让我夜不能寐的，是人类灭绝的可能性。正因如此，我才将研究方向转向：如何构建一种不会从根本上伤害人类的人工智能？我现在认为这是可以实现的。所以在我看来，这是一个巨大的进步。我对这个领域更加乐观了。

在这个领域，您和您的团队提出了“科学家人工智能”的概念，从一开始就内置了安全性。请您详细介绍一下

它的设计方式很大程度上受到了人类科学家理解世界、构建因果机制和世界规律模型的方式的启发。

科学家人工智能是非自主的。换句话说，它没有目标，也没有意图。因此，我们可以相信它所说的话。如果我们沿着这条路走下去，就能构建出具有理想可信度的系统。

现在，企业希望构建智能体——能够实际操作现实世界的AI，而科学家们则希望构建能够帮助他们设计实验的AI，这本身就是一项实际操作。你不再只是被动地进行预测。好消息是，如果你拥有优秀的预测器，就可以利用它们来构建防护措施，例如预测实验或计算机中AI的行为是否可能导致不良后果，以及发生的概率是多少。

国际人工智能安全报告反响如何？它是否已经开始对各国政府的人工智能政策产生影响

确实如此。我很高兴看到它已经产生了如此大的影响。它基于科学文献，严谨地确定了：我们已经了解的风险有哪些？它还确定了当前的缓解措施及其局限性。

人工智能代理将如何改变研究：科学家指南

那么，这有什么用呢？例如，许多国家都设立了人工智能安全研究所。现在，这些人工智能安全研究所已经形成了一个网络，它们都是政府机构，旨在了解、评估和降低人工智能的风险。

这些机构从这种科学文献的综合分析中获益匪浅。它实际上也帮助那些原本不熟悉人工智能安全领域的科学家进入了这个领域。这是一部内容非常丰富的现有文献汇编，并且定期更新。此外，它的语言通俗易懂，每个人都能理解。

你认为从长远来看，人工智能会促进全球经济增长，还是会使世界整体变得更贫穷

就GDP而言，人工智能很可能增长，因为它将全面提升生产力。问题是，这与个人福祉有何关系？特别是，如果所有财富都集中在少数人和少数几个国家手中，那么世界其他地区可能就难以从中受益了。

所以从经济角度来看，这取决于你如何衡量。如果你看的是财富中位数，它和平均财富是不一样的。

实际上，最终的差别将取决于未来几年我们将如何管理人工智能将赋予的力量，如何确保地球上的每个人都能从中受益，而这将取决于我们将做出哪些政治决定。

们现在对人工智能是不是过于热情了

是的，我认为大多数人很难想象未来机器会比现在智能得多。如果你问他们：“五年前你预料到我们现在看到的这些吗？”五年前，我们大多数人都会说：“哦不，那是科幻小说。”所以，如果你做同样的练习，把目光投向未来，我认为我们缺乏想象力，而这恰恰是人类的通病。

你是否希望人工智能从未被发明出来

这是一个难题。我希望我们当初能对可能发生的灾难性后果有更深刻的预见，这样我们就能更谨慎地走到今天这一步。

doi：https://doi.org/10.1038/d41586-025-03686-1

说者固然认真，只是听多了觉得没啥意思

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。