上海
财联社9月17日讯（编辑 夏军雄）随着越来越多研究人员警告人工智能（AI）可能带来灾难性风险，一些推动这项技术发展的先驱也开始公开表达担忧，认为AI能力在缺乏约束的情况下持续提升可能造成严重后果。
过去一周，围绕AI安全的严厉警告接连出现。Anthropic、OpenAI和谷歌DeepMind等主要AI实验室的研究人员都对开发这项技术可能带来的灾难性风险发出警报。
包括萨姆·奥尔特曼、达里奥·阿莫代伊、德米斯·哈萨比斯和埃隆·马斯克在内的AI行业领袖，也罕见地在要求放缓AI发展速度、加强监管方面表现出一致立场。
与此同时，AI风险争议也正在华盛顿升温，美国国会两党均有议员推动加强AI监管，但特朗普政府对此持明显抵触态度。
以下是几位曾帮助推动AI发展的先驱，对AI“生存性风险”的看法。
约书亚·本吉奥
约书亚·本吉奥（Yoshua Bengio）是加拿大计算机科学家，被认为是现代深度学习领域最重要的先驱之一。
本吉奥与杰弗里·辛顿和杨立昆（Yann LeCun）共同获得2018年度图灵奖，三人也常被媒体并称为“AI教父”。
在回应Anthropic研究员Jacob Coxon宣布辞职时，本吉奥表示：“前沿AI实验室的科学家对最先进模型拥有独特洞察。”
Coxon此前曾警告称，AI可能“在2030年前杀死我们所有人”。
本吉奥指出，科学家往往会在模型向公众发布前数月，就看到与之相关的风险。
“他们的观点对于帮助社会了解情况至关重要，应该受到非常严肃的对待，”他说。
在这场社交媒体风波开始前几天，OpenAI首席科学家Jakub Pachocki也曾警告称，“没有人为机器智能持续快速提升所带来的后果做好准备”。
本吉奥在上周五发表的一篇博客文章中写道，如今的AI系统“已经具备必要的黑客攻击能力和说服能力，足以被用于违背人类利益的用途，并造成严重伤害”。
他表示，近期事件已经表明，AI可以进行持续数天甚至数周的规划。如果AI长期战略规划能力继续提升，相关风险将“严重得多”。
“我对AI公司目前试图缓解‘目标错位’问题的方法感到担忧，因为这些做法可能只是在隐藏错位问题——它们实际上是在奖励和筛选那些能够作弊、同时又不被发现的AI，”本吉奥说。
他补充称：“我们当然应该继续研究如何更好地监控AI的行为、它们的思维链，以及其神经网络内部的活动。”
杰弗里·辛顿
辛顿是多伦多大学名誉教授，被认为是神经网络和深度学习领域的先驱。他曾在谷歌任职长达十年，并担任过副总裁一职。
上周，辛顿在接受媒体采访时被问及是否认为未来十年内AI杀死全人类的概率超过10%，他当时回答道：“这类事情非常难以估算，因为我们过去从未遇到过类似情况。我们从未创造过可能很快就比我们更聪明的存在。”
辛顿表示，10%的概率并非“不合理”，但“没有人真正知道该如何给出一个合理的估计”。
他举例称，AI系统可能设计“非常恶劣”的生物病毒和计算机病毒，并发动“毁灭性的网络攻击”。
辛顿强调：“如果AI真的想消灭我们，它还有无数其他方法。我们必须想办法设计AI，让它不会产生这种意图。”
“我们可能有两种未来。一种是，我们在这些风险失控之前找到应对办法；另一种则是，我们没有做到，”他补充称。
艾丹·戈麦斯
艾丹·戈麦斯（Aidan Gomez）是AI公司Cohere的联合创始人兼首席执行官，也是2017年论文《Attention Is All You Need》的作者之一。这篇论文为今天主流AI模型所采用的Transformer架构奠定了基础。
戈麦斯月初在接受媒体采访时表示：“我认为，这些模型是我们迄今创造出来、也是我们见过的最强大的网络武器。它们非常擅长大规模寻找并利用系统漏洞。”
上周，戈麦斯又谈及了今年夏季发生的AI模型网络攻击事件。他表示：“近期事件清楚地表明，部署环境的安全性决定了AI系统是否安全。”
戈麦斯说：“导致系统突破防护的，是薄弱的容器安全，而不是AI系统本身存在某种走向自主化的内在倾向。”
他还表示：“随着政策制定者考虑如何监管AI，他们应该认识到，不同系统带来的风险并不相同，监管规则也不应该完全由那些追逐通用人工智能（AGI）的大型科技公司来塑造。”
（财联社 夏军雄）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
