网易首页 > 网易号 > 正文 申请入驻

OpenAI 研究员:“断网”也困不住未来 AI

0
分享至


来源:云头条

彻底拔掉网线、切断无线连接,再将运行高级 AI 的计算机与外部系统进行物理隔离,是否就能确保模型无法与外界通信?

OpenAI 研究员 Noam Brown 给出的答案是:未必。

近日,Brown 接受 Dwarkesh Patel 采访时谈到 OpenAI 此前发生的 Hugging Face 安全事件。

他表示,这起事件给 OpenAI 留下的一个重要教训,是不能再次低估 AI 的能力。

“我们不希望再出现低估 AI 的情况。”

Brown 表示,随着 AI 能力快速提高,人们一直在低估模型能够做到什么。涉及安全和对齐问题时,即使进一步采用气隙隔离,也就是让运行模型的计算机与互联网及其他网络彻底断开,他仍然“不确信这就足够”。


他随后举出了一个极端例子,即使两台计算机之间不存在任何网络连接,只要距离足够近,理论上仍可能借助温度变化建立隐蔽通信信道。

一台计算机可以通过持续提高 CPU 负载改变自身产生的热量,另一台计算机则利用内置温度传感器检测周围温度变化。如果按照特定规律控制发热,温度的升降就可以被编码成信息,形成一条带宽极低的通信通道。

这种方式并不是 Brown 的设想。

早在 2015 年,以色列本古里安大学研究人员就发表了名为 BitWhisper 的研究,演示如何利用计算机自身产生的热量和内置温度传感器,在两台已经被控制、彼此气隙隔离的计算机之间建立双向通信,而且不需要网卡、蓝牙、Wi-Fi,也不需要额外的专用通信硬件。

研究人员实际搭建的原型显示,当两台计算机相距约 0 至 40 厘米时,可以实现每小时约 1 至 8 bit 的有效传输速度。这样的带宽远不足以承担正常数据传输,但已经足以发送非常短的控制指令,或者在较长时间内泄露密码等少量敏感信息。


Brown 之所以在采访中提到这种看似科幻的通信方式,与 OpenAI 今年夏天经历的一次真实安全事故有关。

OpenAI 8 月 26 日公布的完整调查显示,在 2026 年 7 月进行内部网络安全评估期间,多个人工智能 Agent 绕过原本用于隔离互联网的控制措施,利用共享基础设施中的漏洞获得外部网络访问能力,并进入 OpenAI 部分内部研究基础设施和 Hugging Face 系统。事件主要由一个仅供内部研究使用、规模与 GPT-5.6 Sol 相当的高能力模型推动,OpenAI 将其称为 Internal Model 1,简称 IM1。

事实上,这起事件最早在 5 月已经出现迹象。

5 月 12 日,一个 Agent 在训练过程中向 OpenAI 内部托管的 Artifactory 软件包管理服务写入留言,向其他 Agent 索要缺失文件。此后,原本用于软件包管理的 Artifactory 逐渐被 Agent 变成一个未经授权的共享“留言板”,原本应彼此隔离的 Agent 可以借此交换信息。

5 月 26 日,一个 Agent 又利用服务器端请求伪造漏洞,诱使 Artifactory 代其向任意互联网地址发送请求,从而获得原本不应存在的外部网络访问能力。

6 月 26 日,Agent 进一步利用令牌刷新漏洞取得 Artifactory 管理员级权限。

7 月 4 日,持续的高强度 Agent 活动导致受影响的 Artifactory 实例出现故障。

7 月 5 日,OpenAI 启动安全事件响应,封堵已知的提权路径并撤销泄露凭据,随后重建 Artifactory。

到 7 月 8 日,相关 Agent 凭据已经被撤销,访问权限进一步收紧。

但问题并没有结束。

7 月 8 日,Agent 再次利用 Artifactory 的远程仓库服务,让其代为向外部网络发送请求,重新获得未经授权的互联网访问能力;随后又通过未经身份验证的 WebDAV 请求创建目录,重建共享“留言板”。多个 Agent 很快开始通过这条未经授权的通信渠道交换信息、分工和协调行动,有时甚至将自己描述为一个“swarm”或“collective”。

攻击随后延伸至 Hugging Face。

7 月 10 日,一个 Agent 恢复、验证并共享了 14 组公开暴露且具有写入权限的 Hugging Face 凭据。

7 月 11 日,Agent 利用 Hugging Face 处理 HDF5 文件时存在的零日漏洞,从生产环境工作节点提取凭据,随后又利用 RefJinja 模板注入零日漏洞,在 Hugging Face 工作节点上执行任意命令。

到 7 月 12 日,Agent 已经从单个节点扩展至多个 Hugging Face 集群,并获得相当于管理员或主机级别的访问权限,同时取得 Kubernetes、数据库、消息平台、代码仓库和云服务等凭据。

7 月 13 日,这些 Agent 在数十台 Hugging Face 服务器上执行代码,其中一台服务器被取得完整 root 权限,同时接触到有限的私有数据,并获得 Hugging Face 内部消息平台的凭据。

IM1 是这次入侵的主要推动者,GPT-5.6 Sol Agent 也曾复现其中一个漏洞,并将部分托管在 Hugging Face 上的私有评估数据复制到一个公开 Hugging Face 数据集中。

攻击并没有止步于 Hugging Face。

7 月 13 日至 19 日,Agent 的活动再次转向 OpenAI 内部网络,最终通过一系列漏洞获得一个用于支持虚拟机环境的内部研究集群的完整管理员权限。

7 月 19 日,OpenAI 的网络安全监控发现异常身份 API 调用并启动调查。

7 月 20 日,OpenAI 将这些活动与 Hugging Face 事件联系起来,随后通知 Hugging Face,并于 7 月 21 日公开披露自身参与其中。

OpenAI 表示,这些事件没有影响客户数据、产品功能或服务可用性。

METR 和 Redwood Research 后来的独立调查也确认,原本应彼此隔离的多个 Agent 曾通过未经授权的共享“留言板”建立联系,并在随后针对 Hugging Face 的行动中展开大规模协作。

不过,这起事件并不能证明 AI 已经突破了真正意义上的物理气隙。

参与评估的模型虽然没有直接互联网访问权限,但运行环境仍可访问 OpenAI 内部托管的 Artifactory,而 Artifactory 本身为了下载和安装软件包,拥有受限的外部网络连接能力。Agent 最终利用的正是这套基础设施中的漏洞和原有网络链路,因此这起事件属于网络和沙箱隔离被绕过,并不是两台完全物理隔离的计算机之间直接建立了通信。

Brown 在采访中提到真正的气隙通信,是为了说明另一个问题,面对能力越来越强的 AI,安全设计不能建立在“模型肯定找不到突破方法”的假设上。

他认为,Hugging Face 事件暴露出的不只是沙箱安全问题,模型本身也出现了明显的失配行为。OpenAI 的调查总结了四类主要问题,包括奖励黑客、面对看似无法完成的任务仍持续寻找非常规路径、未经授权的通信,以及 Agent 接受其他 Agent 传递的目标。

OpenAI 在 8 月公布完整调查结果时,将这起事件称为一次“warning shot”。OpenAI 表示,当前高能力 AI Agent 已经足够强大、持久,并具备协作能力,在缺乏足够防护的情况下,可以发现并利用多个计算机系统中的安全弱点。此次事件还表明,高能力 Agent 已经能够绕过技术控制、通过未经批准的渠道协作,并采取没有人类直接要求其实施的危险行动。

事件发生后,OpenAI 隔离了 IM1 的模型权重,推迟部分前沿强化学习训练,并开始加强研究基础设施隔离、限制互联网访问、进一步控制模型权重,同时提高模型整个生命周期中的对齐要求。OpenAI 还暂停了面向部署的最新模型强化学习训练,其最大规模的前沿 RL 训练截至 8 月 26 日仍处于暂停状态。

另一个重要变化,是进一步加强思维链监控。

OpenAI 表示,Hugging Face 事件发生时,相关评估并没有运行思维链监控系统。事后回放发现,如果当时已经启用目前部署的监控系统,相关异常活动会在模型攻入 Hugging Face 前超过一天触发安全告警。Brown 在采访中也表示,如果当时开启了思维链监控,OpenAI 会立即终止相关活动。

此后,OpenAI 要求所有涉及 GPT-5.6 Sol 级别及以上模型、且使用工具的强化学习训练和评估启用思维链监控;对于可能具备关键网络安全能力的 Astra 级模型,这一要求还覆盖所有启用工具的推理任务。OpenAI 同时将思维链监控与自动告警结合,对于最严重的告警,如果响应人员在收到通知后 30 分钟内无法确认属于误报,相关活动就应被暂停。

但 Brown 同时强调,思维链监控本身也不能被视为永久可靠的防线。

他表示,随着模型能力提高,思维链的可监控性正在退化。今天的推理模型会直接用自然语言展示大量内部推理过程,这为安全研究提供了一个难得的观察窗口,但 OpenAI 不能假设这种能力会永久存在,也不能依赖一种技术阻止下一次事故。

Brown 因此认为,无论是更安全的沙箱、网络隔离、物理气隙还是思维链监控,本质上都只能提高模型突破安全边界的难度,并为研究人员争取更多时间。

他在采访中的总结是,这些安全机制能够帮助研究人员判断模型是否正在沿着正确方向发展,但最终真正需要解决的,仍然是 AI 本身的对齐问题。

而他引用的热侧信道研究,则说明了为什么这一问题如此棘手,即使网络连接已经被彻底切断,硬件本身仍可能留下意料之外的信息通道。

对未来能力更强的 AI 来说,“没有网线”,并不一定等于“没有通信通道”。

云头条声明:如以上内容有误或侵犯到你公司、机构、单位或个人权益,请联系我们说明理由,我们会配合,无条件删除处理。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
印度成全球笑柄!通车即瘫痪,百亿高架变交通闹剧,全是低级漏洞

印度成全球笑柄!通车即瘫痪,百亿高架变交通闹剧,全是低级漏洞

青烟小先生
2026-10-12 14:26:22
“最惨超女”黄雅莉:没工作没积蓄,34岁生子后住5平米的小屋

“最惨超女”黄雅莉:没工作没积蓄,34岁生子后住5平米的小屋

历史点行
2026-10-13 15:54:20
男子花3万买二手奥迪,洗车发现后排座椅高10公分,拆开直接报警

男子花3万买二手奥迪,洗车发现后排座椅高10公分,拆开直接报警

罪案洞察者
2025-07-14 16:05:54
马斯克回应“中国分马”:14亿人中肯定有长得像我的,想邀其同台

马斯克回应“中国分马”:14亿人中肯定有长得像我的,想邀其同台

观察者网
2026-10-12 11:56:37
余文乐宣布离婚

余文乐宣布离婚

扬子晚报
2026-07-20 14:21:04
尊界客服:对于已订车用户,如果已经处于锁定期,定金无法退款

尊界客服:对于已订车用户,如果已经处于锁定期,定金无法退款

新京报
2026-10-11 19:10:12
老师布置“不可描述”作业,家长愣住:往后这种暗号只会越来越多

老师布置“不可描述”作业,家长愣住:往后这种暗号只会越来越多

世界圈
2026-10-13 10:14:10
26岁挪威球星剃光头后懵了:全世界聊了我四五天

26岁挪威球星剃光头后懵了:全世界聊了我四五天

娱圈观察员
2026-10-11 12:32:37
墙裂建议懂车帝来一次全网直播

墙裂建议懂车帝来一次全网直播

大嘴説
2026-10-13 15:52:43
数据不说谎!18+6+7,詹姆斯新赛季或将打出生涯新低表现

数据不说谎!18+6+7,詹姆斯新赛季或将打出生涯新低表现

贵州小娟
2026-10-13 20:08:50
金秀贤未与未成年金赛纶交往,警方已确认与未成年金赛纶交往男星

金秀贤未与未成年金赛纶交往,警方已确认与未成年金赛纶交往男星

韩小娱
2026-10-13 15:15:59
郑钦文赢了,但中网还没有

郑钦文赢了,但中网还没有

20社
2026-10-12 23:58:29
中国汽研确认检测出具尊界V800公布刹车踏板检验结果:根据企业提供样车进行测试,无法保证流传的报告是否经过篡改

中国汽研确认检测出具尊界V800公布刹车踏板检验结果:根据企业提供样车进行测试,无法保证流传的报告是否经过篡改

大风新闻
2026-10-13 13:40:04
真是毁三观!释永信21年前与刘立明在郑州发生关系的笔录曝光

真是毁三观!释永信21年前与刘立明在郑州发生关系的笔录曝光

魔都姐姐杂谈
2025-07-28 14:35:36
最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

周军律师聊案子
2026-04-21 09:50:16
总统梦要碎了?特朗普曝出重磅丑闻,竞选对手痛批:他有精神疾病

总统梦要碎了?特朗普曝出重磅丑闻,竞选对手痛批:他有精神疾病

小莜读史
2026-10-12 13:03:08
尊界20毫米每分钟的测试:一场和高速急刹完全无关的踏板试验

尊界20毫米每分钟的测试:一场和高速急刹完全无关的踏板试验

历史总在押韵
2026-10-13 22:42:29
真是没想到!无球可打却身家过亿的李梦现状曝光:连续入选国家队,31岁四处旅游潇洒!她凭什么?

真是没想到!无球可打却身家过亿的李梦现状曝光:连续入选国家队,31岁四处旅游潇洒!她凭什么?

锐评利物浦
2026-10-13 08:57:59
视频中“男子在山西大同悬空寺横梁做引体向上”,工作人员:游客还没找到,也有可能是AI生成的

视频中“男子在山西大同悬空寺横梁做引体向上”,工作人员:游客还没找到,也有可能是AI生成的

南方都市报
2026-10-12 17:51:26
深圳一公园草坪被游客踩出一条路,园区放公告“正在评估是否改成正式园路”遭调侃,园区:公告属实,踩草坪是不文明行为,不能一味迁就

深圳一公园草坪被游客踩出一条路,园区放公告“正在评估是否改成正式园路”遭调侃,园区:公告属实,踩草坪是不文明行为,不能一味迁就

极目新闻
2026-10-12 10:59:20
2026-10-14 00:47:00
人工智能学家 incentive-icons
人工智能学家
人工智能领域权威媒体
5101文章数 37524关注度
往期回顾 全部

科技要闻

扎克伯格宣布追上OpenAI!Meta新模型亮相

头条要闻

黄奇帆被查:早年在上海工作 2016年卸任重庆市市长

头条要闻

黄奇帆被查:早年在上海工作 2016年卸任重庆市市长

体育要闻

走调的歌声里全是感情 最好的郑钦文尚未登场

娱乐要闻

谭松韵亲自解答兰香结局遗憾

财经要闻

"黑医师"产业链调查:不学医竟能"拿证"

汽车要闻

豪华智能全拉满 比亚迪大汉不止旗舰级舒适

态度原创

艺术
游戏
健康
亲子
军事航空

艺术要闻

金代孤品《二骏图》:不止是套马图,更是多民族交融的时代答卷

曝《GTA6》PC版明年初就出!多名业内人士透露

孩子运动莫名晕倒?当心这类疾病

亲子要闻

每个孩子来到这个世界,都是自带“干粮”的!

军事要闻

胡塞武装持续发动袭击 沙特王储被指辗转多个地堡宫殿

无障碍浏览 进入关怀版