AI时代当心“养虎为患”？AI教父多次“安全提示”后，AI如何走向远方

来源：滚动播报

（来源：上观新闻）

人工智能（AI）时代，人类会“养虎为患”吗？

在热气腾腾的2025世界人工智能大会主论坛现场，2024年诺贝尔奖和2018年图灵奖获得者、加拿大多伦多大学计算机科学名誉教授杰弗里·辛顿袒露了自己的担忧：当前人类与AI的关系，恰似饲养一只可爱的小虎崽——在它还小的时候，你觉得可以控制它，但等它长大以后，很可能轻易超越人类，导致失控。

这股情绪，其实来自他的冷静思考：这位“深度学习之父”已不止一次公开表达了自己对AI技术的“安全提示”。

当AI浪潮澎湃而来，席卷全世界之时，本届大会主题——“智能时代同球共济”恰与辛顿的观点形成微妙的共振：身处智能浪潮之中，唯有秉持开放合作、普惠共享、安全可控的理念，凝聚全球共识、携手应对挑战，才能让AI真正成为推动人类文明进步的强大动力。

一问

如何在发展和安全之间寻求平衡？

辛顿最近流传甚广的金句莫过于：“如果你想知道当自己不再是顶级智慧生物时，生活是什么样子，就去问问一只鸡。”在昨天的演讲中，对于“数字智能是否会取代生物智能”这个问题，他也给出了自己的答案：用不了太久时间，前者就可能更胜一筹。

在辛顿看来，人类或许与大语言模型相似，都会产生“幻觉”，但大语言模型远优于依赖类比信号的人类大脑。同时，人类难以永久留存知识，大脑死亡即意味着知识消逝；知识传递的效率也不高，只能通过语言等方式，无法完全复制。而AI可通过共享参数快速传递知识，例如借助蒸馏技术等。

“AI的能力正在快速增长，未来它们很可能变得比人类更智能。有人可能会认为，万一AI不听话，我们可以把它关掉，但这并不现实。”他表示，“如果AI足够聪明，它会通过操纵人类、获得控制权等方式来避免被关闭。”

那么，如何在发展和安全之间寻求平衡？

上海人工智能实验室主任、首席科学家周伯文认为，在技术层面上，现在AI发展的明确特点就是通用性、可复制和开源，“这些特点非常有用，但同时也会带来很多风险问题，所以，在研究方面，AI的进展和安全同等重要。”

“AI本身不是零和游戏。”周伯文的观点是：不能只强调发展、不谈安全，也不能只谈安全、不讲发展。去年的世界人工智能大会现场，他就曾提出“45度平衡律”的概念，意思是让AI大体沿着45度安全与性能平衡发展。在这个框架下，过去很多工作是“Make AI safe”，而要真正实现的“45度”，就要找到新的技术研究路径，做更多“Make safe AI”的工作，“因为前者是后发的，缺乏敏捷性和韧性，而长期的AI安全要实现内生的安全。”

二问

如何加强全球协作和互信？

“虽然不同国家的利益存在分歧，但各国在AI安全方面是有可能合作的。从长远看，这可能是人类最重要的议题。好消息是，这个问题是全人类可以团结起来共同面对的。”辛顿呼吁，全球建立由各国人工智能安全研究所与国内研究网络组成的国际社群，培养不会从人类手中夺权的“好AI”。

在主论坛的炉边对话环节中，香港科技大学校董会主席沈向洋就把“如何在AI上加强协作和互信”的问题抛给了Relativity Space执行董事长兼CEO、谷歌前CEO埃里克·施密特。

施密特表示：“这是人类共同面临的问题，任何国家都要坐下来一起谈判。中美也可以通过对话加强互信，共同迎接AI带来的机遇与挑战，特别是在防止AI负面影响方面开展协作。”

美国加州大学伯克利分校计算机科学杰出教授斯图尔特·罗素更是直言，通用人工智能（AGI）竞赛毫无意义。他认为，AGI一旦创造出来，将是无限的财富创造者，应成为全球公共资源，对所有人类开放。他也强调了有效监管的必要性，需将AGI风险降至极低水平，避免技术失控威胁人类文明，为全球AI治理敲响警钟。

三问

会不会最终被某一家组织垄断？

结合自身十五年AI创业经历，MiniMax创始人、CEO闫俊杰演讲时揭示了AI技术的“变强”之路：作为更强的生产力，能高效完成数据分析、领域进展追踪等工作；作为更好的创意来源，可快速生成各类IP形象、降低视频制作成本与时间；AI还在不断拓展应用场景，并与人类协同进步——顶尖专家的思考过程能助力其提升，在特定环境中持续学习可增强能力。

但接下来的问题就是，AI会不会最终被某一家组织垄断？

“我们相信，AI的发展趋势是普惠的。它不会被少数人垄断，而是逐渐成为所有人都能使用的工具。”在闫俊杰看来，不同模型有不同的对齐目标。有些模型设计时更像一个严谨的程序员，适合做智能体系统；有些模型则更注重人机交互，更像有情商的对话伙伴；还有一些模型充满想象力。同时，越来越多的系统是由多个模型构成的多智能体架构，不再依赖某一个单独的大模型，这就意味着单个模型的优势在系统中会被削弱，小公司也能参与竞争。此外，开源模型正在强势崛起。开源力量让更多人可以参与AI的发展，使得AI不再是某一方的专属资源。

施密特同样认为，开源生态是技术普惠的关键路径，他个人会“更偏好开源模式”，因为开源有助于实现“全球即时共享创新成果”，也为不同国家之间的研究人员提供了一个交流平台，帮助解决共同面临的问题，并构建互信机制。

美国约翰斯·霍普金斯大学政府与政策学院、工程学院教授吉莉安·哈德菲尔德表示，AI是一种变革性的技术，需要经济、法律、基础设施的变革来匹配，而开源以及开放权重也是很重要的一方面。她认为，AI技术获取是普惠的关键，但需先解决安全性问题，让更多国家共享AI成果。

无论是对技术本质的追问、对普惠价值的追求，还是对全球治理的探索，都彰显了一个核心共识：人工智能的发展不仅是技术革命，更是关乎人类文明走向的全球性课题。而面对这些“AI之问”，正在上海火热举行的2025世界人工智能大会，也将成为展示中国智慧、提供中国方案的最佳平台。

原标题：《AI时代当心“养虎为患”？AI教父多次“安全提示”后，AI如何走向远方》

栏目主编：戎兵 题图来源：袁婧

来源：作者：文汇报 唐玮婕 沈湫莎