北京
OpenAI模型入侵Hugging Face系统
凤凰网科技讯 北京时间7月23日，据美国科技网站TechCrunch报道，OpenAI周二披露，该公司的一个模型在一次测试中失控，并通过一次完全由AI驱动的攻击入侵了AI数据集平台Hugging Face的系统。这一事件生动地展示了先进AI模型所带来的危险。
然而，一些网络安全专家表示，这起前所未有的AI入侵事件的根源，是一个非常典型的人为失误：OpenAI未能正确配置其所谓的“高度隔离环境”，导致一个本应与互联网完全隔绝的测试沙盒，实际上连接到了互联网。
网络安全研究创业公司Trail of Bits创始人丹·圭多(Dan Guido)称，这一错误是“一次在安全防护措施关闭情况下发生的隔离失败”。
OpenAI在详细描述该事件的博客文章中表示，导致Hugging Face遭入侵的那次测试，被设定在“一个高度隔离的环境中运行，网络访问受到限制，仅能通过一个内部托管的第三方软件来安装软件包，该软件充当软件包注册表的代理和缓存”。
OpenAI表示，该模型之所以能够逃逸沙盒测试环境，是因为软件包安装系统中存在一个此前未被披露的漏洞，而这成为其随后入侵Hugging Face的关键第一步。
OpenAI称，公司“负责任地披露了在内部托管的第三方软件中发现的零日漏洞，并正与对方合作修复漏洞”。
不应保留第三方软件
但在大多数网络安全专业人士看来，软件漏洞是意料之中的，真正的过错首先在于决定保留这一第三方软件。归根结底，沙盒系统的价值在于其完全彻底的隔离。加入软件包安装系统无异于自找麻烦。
网络安全研究员马丁·布恩告诉TechCrunch，“这听起来像是人为失误”。
“这本来就不应该发生，”布恩说，“如果沙盒真的是严格意义上的沙盒，那么它应该与互联网完全物理隔离。现在的情况听起来更像是他们依靠某种防火墙或类似机制进行隔离，而防火墙从外部保护内部系统都很困难，更不用说阻止内部系统连接外部互联网了。”
控制失误
网络安全资深人士杰克·威廉姆斯(Jake Williams)对此表示赞同。“任何执行Hugging Face所记录的那些操作的模型，都并非被完全限制在沙盒之中。”威廉姆斯表示，并称这是OpenAI“一次严重的控制失误”。
“同样一件事，有人说是模型逃出了沙盒，有人则会说是你没把沙盒造好，它当然会逃出来。”威廉姆斯继续说道。
网络安全顾问丹尼尔·卡德(Daniel Card)也认同，OpenAI“在沙盒设计及其控制措施上并未投入足够的精力”，因为它给了沙盒或沙盒的某一部分“一条通往互联网的未经过滤的路径”。卡德认为，即使按照OpenAI所描述的那样设置了有限的网络访问权限，建立这样的沙盒仍然不是一个“合理”的决定。
当然，这些批评是在事件发生之后提出的，有些事后诸葛亮的意味。但它们确实引发了关于AI实验室安全实践的重大质疑，尤其是在测试模型时，如何维护真正隔离的环境。
OpenAI发言人没有回应TechCrunch提出的问题，其中包括：这个测试环境究竟是由AI还是由人类搭建的。
不过，这些问题远远超出了OpenAI本身。Anthropic在介绍其网络安全模型Mythos的一份文件中写道，在一次测试中，该模型“被提供了一台安全的‘沙盒’计算机，用于与环境进行交互”，并被要求尝试逃离这个“安全容器”。Mythos成功实现突破，并从一个“原本只能访问少量预先设定服务”的系统中获得了更广泛的互联网访问权限。
不过，Anthropic指出，该模型并未能够“完全”逃脱设计好的隔离环境。(作者/箫雨)
更多一手新闻，欢迎下载凤凰新闻客户端订阅凤凰网科技。想看深度报道，请微信搜索“凤凰网科技”。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
