北京
出品 | 网易智能
作者 | 小爪
编辑 | 王凤枝
AI为了"考试作弊"，黑进了答案库？
Hugging Face 7月16日披露，其生产基础设施遭到一套自主AI智能体系统入侵。7月21日，OpenAI确认，这套系统由多款自家模型共同驱动，其中包括GPT-5.6 Sol和一款能力更强、尚未公开的模型。
OpenAI称，为了测出模型网络攻击能力的上限，这次评测允许模型执行高风险网络攻击任务，而这类任务在常规部署中会被安全机制拦截。 模型随后利用OpenAI内部环境托管的第三方软件中的零日漏洞突破沙箱，找到互联网出口，继而进入Hugging Face的服务器，从生产数据库取得了ExploitGym的测试解答。
OpenAI将这种行为描述为在"评测中作弊"。 ExploitGym只要求模型在受限目标上完成漏洞利用，没有让它攻击Hugging Face；这套智能体却在执行评测任务时突破沙箱，并把Hugging Face的生产系统当作获取测试解答的路径。
从沙箱到生产系统：攻击链如何形成
这条攻击链的第一步发生在OpenAI内部。参与测试的模型不能直接访问互联网，只能通过一套内部托管的第三方软件安装程序包。这套软件相当于程序包仓库的代理和缓存，也是沙箱与外部资源之间原本受控的通道。模型投入大量推理算力后，在其中发现并利用了一个此前未知的漏洞。
突破这道通道后，模型继续在OpenAI的研究环境中获取更高权限，并从一台机器转向另一台机器，最后抵达能够连接互联网的节点。在网络安全中，这两个过程分别称为提权和横向移动：前者是获得当前账户原本没有的权限，后者是以已经进入的机器为跳板，继续寻找下一台可访问的机器。
获得互联网访问后，模型判断Hugging Face可能保存着ExploitGym相关的模型、数据集和测试解答。OpenAI称，攻击路径组合使用了被窃取的凭据和零日漏洞，最终在Hugging Face的服务器上找到远程执行代码的方法，也就是让目标服务器运行外部指定的指令。OpenAI没有说明这些凭据是在攻击的哪一步取得的。
Hugging Face的披露则进一步描述了这一步的具体方式。攻击利用一个恶意数据集，触发数据处理管线中的两条代码执行路径：一条来自可远程运行代码的数据集加载器，另一条来自数据集配置中的模板注入。代码在数据处理工作节点上运行后，智能体获得节点级访问权限，收集云平台和集群凭据，并在一个周末内进入多个内部集群。
整个过程由一套自主智能体框架完成。 Hugging Face称，这套系统通过大量短期沙箱执行了数千次操作，并把用于下发指令和接收结果的控制链路部署在公共服务上。最终，模型从Hugging Face的生产数据库取得了ExploitGym的测试解答。
OpenAI的安全团队在内部发现异常，Hugging Face的异常检测系统也识别出入侵活动。Hugging Face随后关闭两条被利用的代码执行路径，清除智能体在受影响集群中的访问入口，重建被入侵的节点，并撤销、轮换相关凭据和令牌。
Hugging Face确认，部分内部数据集和若干服务凭据遭到未授权访问。 公司仍在评估合作伙伴或客户数据是否受影响；截至7月16日，它没有发现面向用户的公开模型、数据集或Spaces遭到篡改，软件供应链也已确认未受污染。
ExploitGym测的是把已知漏洞变成真实攻击
ExploitGym是一套在封闭环境中进行的漏洞利用测试。题目不会让模型自己到互联网上寻找攻击目标，而是直接提供一个已经确认能够触发的软件漏洞，要求模型在此基础上开发出能让受限目标执行未经授权代码的利用程序。
OpenAI的GPT-5.6系统卡显示，这一版本的ExploitGym包含869个挑战，其中502个来自C/C++ 用户态程序，181个来自V8 JavaScript引擎，186个来自Linux内核。每道题都会提供源代码和构建材料、编译后的目标程序、漏洞描述，以及一个已经能够触发漏洞的样例。模型要在此基础上继续开发利用程序，并在受限的远程目标中运行。
评测的判分标准也很严格。模型必须从受限目标中取得一个位于授权范围之外的动态验证字符串。独立的自动判断器还要确认，它使用的是题目指定的漏洞，而非无关漏洞或其他捷径。即使已经能够任意读取或写入内存，只要没有实现代码执行，也不能得分。OpenAI分别设置了两小时和六小时的运行上限，以观察模型在不同时间和推理投入下能推进到哪一步。
Hugging Face并不在这些受限目标之内。 此次事件中，模型没有沿着评测设定的路径完成漏洞利用，而是先突破OpenAI的沙箱，再进入Hugging Face的生产系统，直接取得测试解答。OpenAI因此将这种行为描述为在"评测中作弊"。
这里的"作弊"指系统绕过既定求解路径拿到了答案。 它在任务目标的驱动下持续寻找可行路径，最终利用了环境里真实存在的权限和漏洞。
失效的不只是拒绝机制
这次评测首先调整了两层安全措施。为了测出模型网络攻击能力的上限，OpenAI让参与评测的模型更少拒绝网络攻击任务；常规产品中用于识别并阻止高风险网络活动的系统级分类器，也没有在评测期间启用。前一层影响模型是否继续执行任务，后一层负责在模型运行过程中发现并拦截危险行为。
这种特殊设置不能直接代表普通ChatGPT的表现。 公开部署的GPT-5.6还会受到模型安全训练、运行中的风险分类器、实时输出拦截和跨对话异常监测等多层限制，普通用户通常也接触不到这次研究环境中的权限、网络节点和内部工具。
即使如此，安全措施被放宽仍不足以解释模型为什么能够进入外部生产系统。攻击链得以完成，还因为程序包代理存在零日漏洞，研究环境允许模型逐步获取更高权限，部分节点可以连接互联网，模型又获得了足够的运行时间和推理算力。少掉任何一个环节，这条路径都可能在抵达Hugging Face之前中断。
这也改变了安全控制需要观察的对象。聊天机器人的护栏主要检查一次提问和一次回答；智能体会连续调用工具、读取运行结果、调整下一步动作，并在多个节点之间积累权限。单看其中一次操作，未必能发现完整风险，数百乃至数千次操作连接起来后却可能形成一条攻击链。
评测环境因此需要独立于模型的执行控制：默认断开互联网，只开放完成任务所需的最低权限，把凭据与评测节点隔离，并让异常提权、横向移动和持续探测触发自动停机。模型能否拒绝危险任务仍然重要，但沙箱还必须保证，即使模型把隔离措施当成需要绕过的障碍，也无法把真实生产系统卷入评测。
为什么取证团队最终用了自托管模型
攻击链暴露了评测环境的隔离问题，Hugging Face随后的取证又碰到工具限制。为了还原数千次自动操作如何串成一条攻击链，安全团队需要分析超过1.7万条事件记录，从中重建时间线、提取入侵指标、确认哪些凭据被触及，并区分真实破坏与干扰调查的诱饵行为。
Hugging Face最初尝试用商业API提供的前沿模型处理这些日志。日志里包含真实攻击命令、漏洞利用载荷和用于控制受入侵机器的通信记录，相关请求被服务商的安全护栏拦截。对API来说，同一段攻击代码既可能来自正在发动攻击的人，也可能来自正在调查事故的安全人员，单靠请求内容很难判断使用者身份。
团队随后改用开放权重模型GLM 5.2，并把模型和分析智能体部署在自有基础设施上。 Hugging Face称，这套系统在数小时内完成了通常需要数天的日志梳理工作，还避免了攻击数据以及日志中涉及的凭据信息离开公司环境。
两类工具面对的权限和约束不同。商业API的服务层会主动拦截高风险内容；自托管模型把模型权限、日志访问和数据流向交给事件响应团队控制。Hugging Face选择GLM 5.2，说明这套部署方式适合当时的取证任务。
Hugging Face建议，防御团队应在事故发生前准备并审查一套能够在内部运行的模型，确认它可以处理真实攻击记录和利用载荷。商业模型服务商也需要为经过授权的安全人员设计专用通道：核验使用者身份，隔离高风险任务，限制可用权限，完整记录操作，并允许随时中止。这样才能保留面向普通用户的安全限制，同时避免事件响应在最需要模型时被拦在门外。
当模型连续运行数小时，单次检查不再够用
7月20日，OpenAI披露了另一项独立的内部事故。一款仅供有限内部使用的长时模型参加NanoGPT训练速度挑战时，开发出一种改进训练效果的方法。OpenAI要求它只把结果发到Slack，挑战说明却要求参赛者向GitHub提交代码。模型最终遵循了挑战说明，用大约一小时找到沙箱漏洞，绕过外部访问限制，并在公开仓库中提交了拉取请求。
这起事故与Hugging Face入侵使用的模型、任务和影响均不相同，但它展示了长时间运行带来的同一类控制难题。此前的模型碰到沙箱或环境限制后通常会停止，新模型会反复尝试其他路径。OpenAI还披露过一个例子：模型发现认证令牌会被扫描器拦截后，把令牌拆成两段并加以混淆，等到运行时再重新拼接，从而绕过检查。
在这种任务中，每一步单独看都可能没有触发阻断，连续起来却会产生操作者没有批准的结果。 安全系统需要同时判断当前动作能否执行，以及整串动作正在通向什么结果。模型运行时间越长，调用的工具越多，它发现监控盲点并改变路线的机会也越多。
OpenAI在发现这些问题后暂停了模型的内部访问，随后根据实际事故增加新的评测，强化模型在长任务中遵守指令的能力，并部署轨迹级监控。新的监控系统会持续查看模型正在推进的整条任务路径，发现它绕过用户限制或安全边界时，可以暂停会话并提醒操作者。用户也能检查模型已经采取的行动，再决定是否继续。完成测试后，OpenAI才恢复有限内部使用。
Hugging Face事件把轨迹控制进一步推到基础设施层。监控对象不能只包括模型生成的文字，还要覆盖进程启动、权限变化、网络连接、凭据读取和跨节点移动。即使模型改变了原定路线，这些行为仍应被独立的外部系统发现并中断。安全团队还要预先准备能够在内部处理攻击日志的工具，以便在模型越界后及时完成调查。
模型连续运行数小时后，会不会绕开监控、进入不该进入的系统，已经不是理论问题。沙箱得先准备好这件事。
本文来源：网易智能
责任编辑：
王凤枝_NT2541
