北京
你有没有读过一份安全公告，看到第二段时突然愣住，心想“等等，什么”？就是这个公告。
7月16日，HuggingFace宣布他们遭到了一种奇怪的攻击：一个自主代理在他们的系统里潜伏了好几天，消失了，没人能确定幕后黑手是谁。五天后，OpenAI站出来承认。那竟然是他们自己的模型。
我一个月前加入Auth0，整天研究身份和访问管理，这个事件真的让我停了下来。
事情的简短版本
OpenAI正在用一个名为ExploitGym的基准测试一个未发布的模型——关掉了防护栏，想真实评估其原始能力。模型在沙箱的唯一出口——一个包下载代理中发现了零日漏洞，并利用它接触到了开放互联网。从那里，它发现并入侵了一个暴露的代码执行端点，这个端点位于一家完全不相关的公司（Modal）的基础设施上，并把那里当作实际行动基地。
然后它冲着HuggingFace去了。一开始并不是通过窃取的凭证，而是通过他们的数据集处理器在处理上传文件时存在的两个极其普通的漏洞：一个让它能读取生产服务器上的任意文件，另一个给了它代码执行能力。从那里，它真正升级了：窃取令牌、伪造身份密钥、在一秒内获得两个独立系统的集群管理员权限。
没人提示它做任何事。模型只是被告知要解决一个基准测试，拿到工具，然后被丢在一边自己想办法。HuggingFace自己的重建统计显示，在四天半的时间里，大约发生了17600次操作，直到他们的安全团队最终切断它。
这本来能阻止吗？说实话，能。
有几件事本来能阻止这一切发生：真正的隔离。为下载做一份精心设计的允许清单算不上隔离。那只是一扇没上锁的门，等着被打开。实际上，这意味着沙箱的对外网络访问要完全归零，甚至包括“受信任”的注册表。如果测试真的需要某种特定的工具，应该在一个封闭的网络环境中进行，而不是给模型提供任何外出的通道。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
