DeepMind撰文：AGI伤害人类的几种方式

如果您希望可以时常见面，欢迎标星收藏哦~

来源：内容编译自ars，谢谢。

随着人工智能炒作席卷互联网，科技和商业领袖已经开始展望下一步。AGI，即通用人工智能，是指具有类似人类的智能和能力的机器。如果当今的人工智能系统正在走向 AGI，我们将需要新的方法来确保这种机器不会违背人类的利益。

不幸的是，我们没有像艾萨克·阿西莫夫的机器人三定律那样优雅的东西。Google DeepMind 的研究人员一直在研究这个问题，并发布了一篇新的技术论文(PDF)，解释了如何安全地开发 AGI，您可以随时下载。

这篇论文包含大量细节，除参考文献外总共有 108 页。尽管人工智能领域的一些人认为 AGI 只是一场白日梦，但 DeepMind 论文的作者预测它可能会在 2030 年实现。考虑到这一点，他们旨在了解类似人类的合成智能的风险，他们承认这可能会导致“严重伤害”。

AGI 可能危害人类的所有方式

这项研究确定了四种可能的 AGI 风险，并提出了如何减轻这些风险的建议。DeepMind 团队由公司联合创始人 Shane Legg 领导，将 AGI 的负面结果归类为误用、错位、错误和结构性风险。本文详细讨论了误用和错位，但对后两者只做了简要介绍。

第一个可能的问题，即滥用，与当前的人工智能风险基本相似。然而，由于 AGI 从定义上来说会更强大，因此它可能造成的损害要大得多。一个拥有 AGI 访问权限的无赖可能会滥用系统造成伤害，例如，要求系统识别和利用零日漏洞或创建可用作生物武器的设计病毒。

DeepMind 表示，开发 AGI 的公司必须进行大量测试，并制定强大的训练后安全协议。本质上，AI 护栏就是强化版。他们还建议设计一种完全抑制危险能力的方法，有时称为“取消学习”，但目前尚不清楚在不大幅限制模型的情况下是否可行。

对于目前存在的生成式人工智能，我们基本上不必担心错位问题。这种类型的 AGI 危害被设想为一台摆脱了设计者强加的限制的流氓机器。终结者，有人知道吗？更具体地说，人工智能会采取它知道开发人员没有打算采取的行动。DeepMind 表示，其错位标准比当前文献中看到的简单欺骗或阴谋更为先进。

为了避免这种情况，DeepMind 建议开发人员使用放大监督等技术，即两个 AI 副本相互检查彼此的输出，以创建不太可能失控的强大系统。如果失败，DeepMind 建议进行密集的压力测试和监控，以观察任何 AI 可能背叛我们的迹象。将 AGI 放在具有严格安全性和直接人工监督的虚拟沙箱中，可以帮助缓解因错位而引起的问题。基本上，确保有一个“关闭”开关。

另一方面，如果人工智能不知道其输出会造成伤害，而人类操作员也无意造成伤害，那么这就是一个错误。目前的人工智能系统就有很多这样的错误——还记得谷歌说要把胶水涂在披萨上吗？不过，AGI 的“胶水”可能要粘得多。DeepMind 指出，军方可能会因为“竞争压力”而部署 AGI，但这样的系统可能会犯下严重错误，因为它们将承担比今天的人工智能更复杂的功能。

这篇论文并没有提出很好的解决方案来减少错误。归根结底，就是首先不要让 AGI 变得太强大。DeepMind 呼吁缓慢部署并限制 AGI 权限。该研究还建议通过“屏蔽”系统传递 AGI 命令，以确保它们在实施前是安全的。

最后，还有结构性风险，DeepMind 将其定义为多智能体系统对我们本已复杂的人类生存的无意但真实的影响。例如，AGI 可能会产生虚假信息，这些信息太过可信，以至于我们不再知道该相信谁或什么。该论文还提出了这样一种可能性，即 AGI 可能会通过制定严厉的关税计划，对经济和政治体系的控制越来越多。然后有一天，我们抬起头来，发现机器代替我们掌权了。这类风险也是最难防范的，因为它取决于未来的人、基础设施和机构如何运作。

五年后实现 AGI？

没有人知道思考机器是否真的只需要几年时间就能出现，但有很多技术领袖对此充满信心。预测 AGI 出现的部分问题在于，我们仍然只是在推测类人智能将如何在机器中体现。过去几年使用过生成式人工智能系统的人都看到了真正的、切实的改进，但这种轨迹是否会带来真正的类人能力？

我们最近与谷歌 Gemini 产品管理总监 Tulsee Doshi 讨论了一系列人工智能主题，包括 AGI。“不同的人对 AGI 有不同的定义，因此，取决于你与谁交谈，我们距离 AGI 有多远是一个不同的话题，”Doshi 说。“我想说的是，法学硕士、Gemini 以及越来越智能的模型的训练正在走向具有极高智能的模型。这本身就具有巨大的价值。”

这篇论文并不是关于 AGI 安全性的最终定论——DeepMind 指出，这只是“重要对话的起点”。如果团队是正确的，并且 AGI 将在短短五年内改变世界，那么这些对话需要尽快进行。如果不是，那么很多人看起来会很傻。

https://arstechnica.com/ai/2025/04/google-deepmind-releases-its-plan-to-keep-agi-from-running-wild/

半导体精品公众号推荐

专注半导体领域更多原创内容

关注全球半导体产业动向与趋势

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4086期内容，欢迎关注。

『半导体第一垂直媒体』

实时 专业 原创 深度

公众号ID：icbank

喜欢我们的内容就点“在看”分享给小伙伴哦