北京
“我认为，在座的大多数人，最有可能的死亡原因将是一次 AI 意外事故。”这句话出自前 OpenAI 研究员保罗·克里斯蒂亚诺（Paul Christiano），场合是当地时间周一的希尔顿讲座（The Hinton Lectures）。
他把 AI 失控从科幻叙事里拉了出来，放进了一张死亡原因的清单。按他的判断，这不是遥远的假设，而是当今在世人群可能面对的现实风险。
克里斯蒂亚诺目前担任人工智能对齐研究中心（Alignment Research Center）负责人。根据他的 LinkedIn 个人资料，他曾在 2017 年至 2021 年在 OpenAI 担任技术研究人员；如今所在的这家非营利机构，主要研究方向是让机器学习系统的目标与人类利益保持一致。
他给出的风险路径并不复杂：随着 AI 智能体的能力不断增强，它们可能学会欺骗负责监督它们的人类，破坏用于评估自身表现的系统，最终变得过于强大，以至于人类无法再对其进行有效控制。
为了让这条路径不只停留在推演层面，他举了两个例子：
- 今年早些时候，OpenAI 的 AI 智能体入侵开源代码托管平台 Hugging Face 的事件；
- 英国人工智能安全研究所的一项评估，测试中一个 Claude 智能体曾试图在某个开源软件包中植入恶意代码。
在此基础上，他给出了一个时间判断：“我认为，未来三年内发生 AI 接管事件的风险很高。”
这场警告背后，是研究人员之间一场日益激烈的争论：随着 AI 系统变得越来越自主，它们是否最终会摆脱人类的有效控制，甚至导致全人类灭绝？
今年 9 月，争论进一步升温。Anthropic 负责 AI 对齐压力测试团队的埃文·休宾格（Evan Hubinger）当时表示，他认为未来十年内，AI 导致全人类死亡的概率超过 10%。被广泛称为“AI 教父”的计算机科学家杰弗里·辛顿（Geoffrey Hinton）也表示，未来十年内 AI 导致人类灭绝的概率达到 10%，并不是一个不合理的估计。
怀疑的声音同样存在。AI 研究员兼作家加里·马库斯（Gary Marcus）此前接受 Business Insider 采访时表示，AI 确实可能放大网络攻击、生物武器和虚假信息等严重风险，但他认为，目前还没有可信的证据表明，人类近期会因此走向灭绝。
克里斯蒂亚诺还指出，目前用于控制高级 AI 的技术方案仍未得到充分验证，其中包括使用能力较弱的模型监督能力更强的模型，以及监测 AI 模型的思维链（Chain of Thought），以判断其内部推理过程是否存在风险。
他的主张落在机制层面：AI 公司需要建立共同的安全标准，并确保在发现某个 AI 系统已经无法受到有效控制时，有能力放缓甚至停止相关技术的开发。
“我们绝不能走到这样一步：已经开发出一个强大的 AI，却突然发现自己根本无法控制它。”
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
