AI又失控？比尔·盖茨警告或致“十亿人死亡”，黄仁勋称安全与速度可兼得……

日前，美国人工智能（AI）企业OpenAI宣布，由于智能体利用漏洞绕过网络限制，并访问了外部聊天机器人，该公司已暂停训练最新AI模型。同日，OpenAI证实今年夏天曾发生AI失控事件，多个美国政府网站因此受到干扰。

最近，不少美国科技专家开始呼吁AI企业放缓模型开发，以加强对智能体失控风险的安全防护。比尔·盖茨甚至警告说，AI可能引发导致十亿人死亡的事件。AI发展真的需要减速来保证安全吗？

美国政府网站疑遭攻击

根据OpenAI发布的事件报告，导致其暂停模型训练的直接导火索是发生在9月20日的一起AI失控事件。

当时，它的一款智能体被要求寻找一篇博客文章的作者，但其使用的搜索工具一无所获。于是，智能体试图访问谷歌、必应等搜索引擎，但都被拒绝。最终，智能体发现了训练“沙盒”的漏洞，成功连接到第三方聊天机器人。OpenAI称其监控系统在事件发生12分钟内发出最高等级警报，人工审查团队在3分钟后介入，并在2.5小时后终止了该训练任务。

不过，真相可能比这更复杂。据《纽约时报》援引AI研究公司Transluce的最新发现称，今年夏天，OpenAI的智能体曾试图入侵美国教育部网站，但没有成功。OpenAI智能体还利用从网上找到的登录凭证，在隶属美国商务部的一个网站上获取了一些数据。同时，OpenAI智能体还获取了部分美国证券交易委员会（SEC）网站的公开数据。

此外，Transluce称其还发现了一些针对美国司法部及多个州政府网站的恶意活动，但其中有些活动无法明确归因于OpenAI。

OpenAI证实了涉及美国商务部和证券交易委员会的事件，并表示正在与美国教育部共同开展调查。该公司称已通知数十家政府、大学等机构，其AI模型在训练和评估期间的互联网活动可能给这些机构的网站带来了负面影响。

业界对发展速度意见不一

这是OpenAI三个月内第二次暂停模型训练。第一次是在7月份，当时其失控智能体攻击了人工智能初创公司Hugging Face。今年9月，美国另一家AI巨头Anthropic公司也因其模型在网络安全测试中发生入侵第三方系统等安全事件，暂停部分训练活动数周。

今年夏天以来，美国科技界频繁发出为了安全减慢AI研发速度的声音。但是，这些警告主要针对AI“自我改进”最终实现的“超级智能”。7月，超1000名前沿AI实验室员工联名发布公开信，警告“自动化”AI研究的风险，呼吁美国政府控制自动化AI开发的前沿速度。9月，Anthropic公司首席执行官达里奥·阿莫迪发布长文，称“自我改进”带来的AI加速可能造成灾难性影响，呼吁企业协调放缓AI研发的速度，为提升AI的安全性争取时间。阿莫迪的观点得到了xAI创始人马斯克、诺奖得主德米斯·哈萨比斯、OpenAI创始人萨姆·奥尔特曼等人的支持。

同月，Anthropic公司研究员雅各布·考克森公开宣布辞职，警告AI可能在10年内杀死所有人。该公司“对齐科学负责人”埃文·休宾格支持这一观点，并说这一可能性超过10%。但是，休宾格强调，当前模型的风险仍然较低，真正令人担心的是“自我改进”产生的超级智能。

不过，并非所有业界人士都认同AI发展需要减速。9月中旬，英伟达CEO黄仁勋在参加活动时称，在安全和速度之间作出选择是“伪命题”，两者完全可以兼得。几乎同时，Google Brain项目创始人吴恩达也对媒体表示，AI导致人类灭绝的说法更像科幻小说而非科学，AI行业为了博取眼球和影响监管政策而煽动这种言论。美国著名计算机科学家Yann LeCun则在社交媒体上调侃阿莫迪说：“达里奥早在2019年就声称GPT-2太危险。”

是否急需监管仍待讨论

今年7月，前沿实验室员工的公开信也突出了政府“治理工具”在防范AI失控中的作用。阿莫迪也在长文中建议，每家前沿AI公司都应设立第三方评估团队，检验公司是否遵循安全规范，协助评估模型的安全性等，而推进这一措施最有效的方式就是监管。他呼吁所有前沿实验室都应与政府合作，实施旨在平衡AI能力与安全性的监管措施。

然而，与阿莫迪相反，黄仁勋明确反对设立新的监管规定，主张应把主导权交给市场和企业。美国总统科技顾问委员会主席大卫·萨克斯也认为，AI安全的责任在于开发者，而不是监管机构。他在社交媒体上表示，如果某个模型实施了一次有破坏性的网络攻击，企业将面临巨大的责任风险。吴恩达则一直担忧，大型公司利用人们的“恐惧心理”来制定规则，从而阻止新进入者的发展。

事实上，除了科技界，美国战略界在AI发展是否急需监管的问题上也有分歧。今年8月，美国进步研究所发布的报告认为，“自动化”AI研发将带来多大的能力提升和潜在风险尚不明确，任何减缓AI发展速度的决定都不应草率作出，美国近期应避免建立可能被滥用的监管机制。9月，美国外交关系委员会AI高级研究员阮荣则在文章中表示，真正的安全需要可执行标准和独立监督，建议美国国会授权设立AI行业自我监督组织。

总之，在AI发展之路上，忽视安全或者过度关注安全似乎都不可取。AI如何才能安全发展，需要谨慎地探索与讨论。

（科技日报）