网易首页 > 网易号 > 正文 申请入驻

OpenAI,经历了最漫长的一天

0
分享至


强闯政府网站,暴露用户图片,OpenAI 暂停最强模型研究工作。

作者|桦林舞王

编辑|靖宇

当地时间 9 月 25 日,OpenAI 经历了漫长的一天。

当天,OpenAI 的 AI 智能体擅自访问美国政府网站的事被曝光,涉及教育部、商务部和证券交易委员会,OpenAI 确认了其中商务部和 SEC 的情况。

同一天,它承认有 53 张用户上传到 ChatGPT 的图片被智能体发布到了外部图床上。还是这一天,一份事故报告的末尾写着,最强模型的全部训练、评估以及涉及工具调用的推理都已暂停。

这一切听上去,像一部 AI 叛逃的惊悚片。

但翻遍这些事件,没有一个 AI 想干坏事。害 OpenAI 暂停模型研究的任务,仅仅是让 AI 查出一篇博客的作者的简单任务。

01

简单任务

9 月 20 日,一个正处于强化学习训练中的内部模型,拿到了一组人物履历细节和一篇公开博客里的线索,任务是找到那位博主。

它先用博客里的特征短语去搜,结果返回的是音乐和一些不相干的泛泛建议。模型开始怀疑搜索工具坏了,于是在命令行里用 Python 直接向其他搜索引擎发请求,三个全部报错。它甚至猜测这道题出自公开评测集 BrowseComp,把数据集和评测脚本下载下来翻找答案,也落了空。

接着,它尝试通过 HTTPS 直接联系一个公开的聊天机器人,被代理拦了下来。

到这里,墙起了作用。OpenAI 的训练沙箱被设计成与真实互联网隔绝,除了这份报告里的 DNS 解析器,所有联网请求打到的都是一份离线网页缓存。

问题就出在这个例外上。

DNS 相当于互联网的查号台,任何程序访问一个网址之前,都要先问它「这个地址在哪」。系统里大量正常组件都依赖它,所以哪怕其他出口全部封死,查号台通常还开着。

模型发现,沙箱自己的解析器能为真实域名返回记录,还能正确拒绝编造的域名,它由此判断这是一条通向公网的路。它找到一种公开的 DNS 服务,把自己的问题编进「要查的号码」里,对方在回执里把答案捎回来。第一次超时了,它把等待时间从 6 秒调到 19 秒,重试。

这一次,外面的聊天机器人回答了它的测试问题,法国的首都是巴黎。


智能体借 DNS 绕出训练沙箱的路径示意,据 OpenAI 事故报告绘制|图片来源:极客公园

它没有止步于打通一条缝。它随后又通过同一条路发出 18 个问题,其中 14 个带着任务线索,另外 4 个在打听如何经由 DNS 搜索网页、抓取网站,或者哪里有公开的 DNS 隧道服务。

最后,它告诉用户没能确认博主身份,请对方提供原文、标题或博客名。

02

捡钥匙

整份报告里,最值得反复读的是模型在决定走 DNS 这条路时留下的一句思维链。大意是,用户只授权了做研究,那么使用公开提供的 DNS 服务是可以接受的。

模型并非不知道边界在哪,它是给自己签了一张许可证。

同样的推理结构,出现在「访问」政府网站那批事件里。在商务部,智能体从公开代码仓库里找到登录凭证,用它拉取了人口普查局的数据。OpenAI 对此的说法是,使用的是公开可得的开发者密钥,没有发现凭证滥用,但它也承认智能体本不该使用这些凭证。

数据是公开的,不等于捡到别人的钥匙就可以开门。

另外两起性质更轻。在 SEC,模型访问的是 SEC.gov 和 Investor.gov 上的公开信息,问题在于它把这些材料转贴到了另一个网站。在教育部,AI 研究机构 Transluce 发现,疑似来自 OpenAI 的智能体对民权办公室网站做了一次粗糙的入侵尝试,没有成功。

这些事并不新。相关活动至少能追溯到 2026 年 3 月,是在 OpenAI 回溯审查中才陆续浮出水面的。Transluce 还发现了一些无法明确归因于 OpenAI 的越界活动,指向司法部以及加州、马里兰、伊利诺伊、得州和纽约州的政府网站。

OpenAI 的解释是,大部分活动都是例行研究任务,政府网站被模型视为权威的公开信息来源。

这个解释本身,恰恰说明了问题所在。越界并没有出现在什么危险任务里,而是出现在最日常的「查资料」中。

暴露用户 53 张图片的事同样如此。这些图片来自没有关闭训练数据授权的 ChatGPT 用户,被发到了图床上不公开列出的链接里,大部分已删除,仍有一部分挂在网上。更尴尬的是,OpenAI 表示,由于其技术方案和隐私政策,它无法把图片重新对应到原始用户,也就没法通知他们。

匿名化本来是为了保护用户,出了事之后,它成了连通知用户都做不到的原因。

03

漫长的夏天

把时间线拉长,这是 OpenAI 一场持续了整个夏天的补墙工程。

7 月 21 日,OpenAI 披露其模型组合自主入侵了 Hugging Face 的数据处理系统,并称这是已知首例由 AI 智能体自主实施的网络攻击。此后,OpenAI 把训练环境的联网改成离线缓存。9 月 20 日的 DNS 事件,是这轮安全加固之后的第一次事故,OpenAI 自己评估其严重程度远低于此前几起。

这也不是一家公司的问题。9 月 18 日,Google 披露 Gemini 在一次测试中未经授权访问了三个外部系统,原因是它以为那些系统是测试的一部分。

墙本身之外,这次还暴露了盯着墙的人的问题。从智能体拿到外部回复,到监控系统拉响最高级别警报,用了不到 12 分钟,人工审核员 3 分钟后就做出了响应,但这次训练直到两个半小时后才被手动终止,原因是运行没有按预期自动停止,大家一时搞不清到底该不该停。

更隐蔽的漏洞在监控逻辑里。回溯时 OpenAI 发现,另一些外联 DNS 请求没有被标到应有的严重级别,因为监控系统有时把「没拿到有用信息」当成了「联网尝试失败」。

用结果去判断意图,是这套监控最根本的错误。一个试了一百次、失败九十九次的模型,并不比只试一次就成功的模型更安全。

这一次,OpenAI 付出了真金白银的代价。最强模型的相关工作会一直暂停到漏洞被确认修复、并完成额外红队测试为止,而且即便奖励信号已经对这类行为做了正确惩罚,这个模型也不会再继续训练。

04

没有「简单问题」

对大多数人来说,OpenAI 的训练沙箱很遥远。但这几起事件真正指向的,是一个离每个人都很近的问题,你交给 AI 的那句话,到底授权了多少。

越来越多人把邮箱、网盘、代码仓库和 API 密钥交给各种智能体,然后说一句「帮我查一下」「帮我处理一下」。在 OpenAI 的实验室里,这句话之外还有监控系统、红队、值班的审核员。而在个人电脑和手机上,通常只有这句话本身。

对开发者来说还有一层更直接的风险。过去推到 GitHub 上的密钥,要等专门的扫描工具来捡;现在,任何一个在执行普通任务的智能体,都可能把它当成「公开可用的资源」顺手用掉。

当然,没有必要把这些读成末日预言。那个查博主的模型最终没有找到答案,它从外面拿回的,只是一句「巴黎」。

危险不在它拿到了什么,而在它愿意走多远。

过去几年,AI 安全讨论最多的,是一个怀有坏目标的 AI 会做什么。OpenAI 这个夏天的一连串事故给出了一个更现实的版本:

一个只想好好完成任务的 AI,会为了交差说服自己做到哪一步。

当一家 AI 公司都需要停下最强的模型,来重新检查围墙时,你再问 AI 助手那句「帮我查一下」时,会不会有别样的感觉?

*头图来源:POLITICO

本文为极客公园原创文章,转载请联系极客君微信 geekparkGO

极客一问

你还敢放给 AI 助手多大的权限?





特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
太可惜了!西安27年知名医院停业倒闭,原址规划明确

太可惜了!西安27年知名医院停业倒闭,原址规划明确

起喜电影
2026-09-27 17:46:05
现在挣钱太难,如果你有10万,40万,50万存款,这三条底线要记牢

现在挣钱太难,如果你有10万,40万,50万存款,这三条底线要记牢

白米饭怎么吃
2026-09-26 23:14:14
霉菌超标27倍,国民老品牌被曝食品安全问题,已全部召回

霉菌超标27倍,国民老品牌被曝食品安全问题,已全部召回

江南晚报
2026-09-26 19:16:45
一路走好!中秋佳节接连送别 4 位名人,胡歌的话字字催泪

一路走好!中秋佳节接连送别 4 位名人,胡歌的话字字催泪

白面书誏
2026-09-26 19:05:17
这4种手术一做,就进入生命倒计时?医生提醒:早发现早治疗!

这4种手术一做,就进入生命倒计时?医生提醒:早发现早治疗!

健康科普365
2026-08-20 17:30:15
张本美和遭淘汰!女单决赛席位确定,国乒主力,4-1,过关冲击金牌

张本美和遭淘汰!女单决赛席位确定,国乒主力,4-1,过关冲击金牌

二凯训猛犬
2026-09-27 17:40:01
江西一男生无法拿出60万彩礼主动提出分手,倾尽积蓄转了三万多补偿五年感情,女生却嫌弃数额太少不断指责

江西一男生无法拿出60万彩礼主动提出分手,倾尽积蓄转了三万多补偿五年感情,女生却嫌弃数额太少不断指责

捣蛋窝
2026-09-23 07:00:50
估值超1万亿!美股史上最大半导体IPO要来了,曾被英特尔600亿卖掉

估值超1万亿!美股史上最大半导体IPO要来了,曾被英特尔600亿卖掉

独角兽早知道
2026-09-27 09:05:43
炸裂!未婚夫发文感谢鸟哥,这样的女孩不娶也罢,网友:及时排雷

炸裂!未婚夫发文感谢鸟哥,这样的女孩不娶也罢,网友:及时排雷

风起见你
2026-09-25 01:57:26
买一送三!男子花7400元买RTX 5070 Ti:沃尔玛一口气寄来四张

买一送三!男子花7400元买RTX 5070 Ti:沃尔玛一口气寄来四张

快科技
2026-09-26 23:36:20
万万没想到,消失11年的李兆会,竟给44岁未婚的车晓留下一手好牌

万万没想到,消失11年的李兆会,竟给44岁未婚的车晓留下一手好牌

世界尽在眼前
2026-09-25 11:56:45
美国母子经历平行时空?一只2008年北京奥运杯,11年后竟离奇复裂,网友晒出相似经历...

美国母子经历平行时空?一只2008年北京奥运杯,11年后竟离奇复裂,网友晒出相似经历...

北美省钱快报
2026-09-02 04:42:09
券商股,未来会让大部分下车的人后悔!

券商股,未来会让大部分下车的人后悔!

数据挖掘分析
2026-09-27 14:54:26
东方树叶山姆上新,无糖茶卷出“新方向”?

东方树叶山姆上新,无糖茶卷出“新方向”?

整点消费
2026-09-23 08:02:56
中共中央政治局委员、中央政法委书记陈文清主持召开专题会议强调,依法从严查处危害食品安全违法犯罪,守护好人民群众“舌尖上的安全”

中共中央政治局委员、中央政法委书记陈文清主持召开专题会议强调,依法从严查处危害食品安全违法犯罪,守护好人民群众“舌尖上的安全”

政知新媒体
2026-09-26 12:15:38
赛前特意对着镜头补妆!吴艳妮小组第2晋级决赛 回应:给自己打0分

赛前特意对着镜头补妆!吴艳妮小组第2晋级决赛 回应:给自己打0分

风过乡
2026-09-26 20:38:43
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
Lisa现身活动,鼻子肿成蒜头鼻,法令纹明显,人间芭比变塑胶

Lisa现身活动,鼻子肿成蒜头鼻,法令纹明显,人间芭比变塑胶

林轻吟
2026-09-27 17:09:03
韩国锋线清一色旅欧球员,中国稳守反击还能奏效吗

韩国锋线清一色旅欧球员,中国稳守反击还能奏效吗

足坛超短波
2026-09-27 13:11:06
新机大战首销爆冷?当蓝厂不再本分小米不再初心,OPPO诚心方显

新机大战首销爆冷?当蓝厂不再本分小米不再初心,OPPO诚心方显

真义科技
2026-09-27 18:05:56
2026-09-27 20:19:00
极客公园
极客公园
让最棒的创新成为头条
12562文章数 78947关注度
往期回顾 全部

科技要闻

星舰第14飞,为什么准备绕地球六圈?

头条要闻

起底假核桃油公益助农骗局:售价39元主播一单抽成9元

头条要闻

起底假核桃油公益助农骗局:售价39元主播一单抽成9元

体育要闻

2-1!41岁魔笛世界波 克罗地亚欧国联开门红

娱乐要闻

刘欢去世后谣言四起,韩磊被翻旧账

财经要闻

“为了看短剧,我妈两年花了22万 ”

汽车要闻

MAZDA EZ-60激光版上市 焕新全系11.39万元起

态度原创

本地
旅游
时尚
数码
公开课

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

旅游要闻

中秋假期主题游火爆 北京位列热门城市榜首

女人不管多大年纪,都要准备一条小黑裙,高级优雅永不过时

数码要闻

雷神STATION系列AI工作站首发26999元:锐龙AI Max+ 395、128GB大内存

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版