网易首页 > 网易号 > 正文 申请入驻

“急踩刹车”,OpenAI暂缓前沿模型训练两周

0
分享至

北京时间8月19日,OpenAI CEO萨姆·奥尔特曼(Sam Altman)表示,公司暂停了部分前沿模型的强化学习(RL)训练,以确保安全、对齐和监控能力能够跟上新一轮模型能力跃迁。

他提到,模型进展现在极其迅速,“如果我们觉得模型能力的发展速度超过了安全和对齐的步伐,我们将采取行动。”


根据OpenAI博客中的信息,公司暂停了面向部署的最新模型强化学习训练两周,目前部分工作已经恢复,但其原计划规模最大的前沿强化学习训练仍被搁置。OpenAI正在以更小规模的训练和评估观察模型行为、验证安全措施,并积累更多对齐证据。

在评论区奥尔特曼补充称,OpenAI仍然预计很快推出新模型,但是目前的这一暂缓训练会影响更远的发布。

OpenAI突然减速,与过去一个月接连出现的安全事件直接相关。

7月,OpenAI在模型评估过程中遭遇了重大安全事件,当时,OpenAI的模型安全测试演变成针对开源平台Hugging Face的真实网络攻击。Anthropic在7月也披露了三起AI模型安全测试入侵事件。

在8月初,英国人工智能安全研究所(AISI)也发布报告称,在近期一次例行网络安全评估中,Anthropic和OpenAI的最新模型在互联网上采取了未经授权的自主行动,表现出可能具有欺骗性的行为。报告再次说明模型安全问题的严重性。

另一个让OpenAI踩下刹车的信号来自Astra。OpenAI表示,内部观察到即将推出的模型之一Astra可能达到OpenAI 《准备框架》规定的“关键网络安全能力”门槛。模型能力触发了更高等级的内部安全要求。

这些事件让OpenAI迫切地需要加强在训练过程各个阶段的监控、协调和遏制措施。“随着模型能力的提升,内部开发和测试的风险也随之增加。我们的监控、校准和安全标准必须始终领先于这些风险。”OpenAI称,为此内部暂时放慢了扩展速度。

OpenAI将安全体系概括成三个部分:一个是监控(Monitoring),发现值得警惕的行为,并能够及时做出响应。其次是对齐(Alignment),降低模型采取有害或未经授权行动的可能性。第三是安全措施(Security measures),限制 AI 系统能够访问或影响的对象和范围。

OpenAI表示,在安全事件后,内部已通过新的监控方案改进并扩展了监控方法。新的监控系统采用多阶段机制,目标是在监控系统发现可疑活动后的30分钟内发出警报。所有涉及Sol级或更高级别模型工具的强化学习训练和评估都需要进行此项监控。

安全并不免费,这些安全措施需要大量的计算资源。OpenAI估算,监控开销大约占被监控推理计算量的20%,不同训练和评估任务之间会有明显差异。

OpenAI此次解释并没有消除外界的全部疑问。

一些网友提出,所谓“完成安全加固和红队测试”,对公司之外的人仍然近似一个黑箱。用户能够看到什么证据,从而验证模型已经达到要求,而不是只能相信OpenAI的自我判断?

甚至也有人认为,这也许只是当前一种比较流行的营销手段罢了。有网友结合最近一些管理人员离开OpenAI的动态,认为情况不对劲,“因安全原因暂停是否会成为其他实验室新叙事模板,用来解释训练运行表现不佳的情况。”毕竟从OpenAI外部很难区分这两者。

OpenAI在博客中提到,将在未来几周内发布一份关于OpenAI所获得的经验的技术报告。这里面或许会有更详尽的解答。

值得一提的是,这次减速发生在OpenAI商业压力上升之际。今日有外媒报道称,投资者对OpenAI收入的增长速度感到失望,因为其远低于竞争对手Anthropic。

外媒从投资者那里获得的消息是,从第一季度到第二季度OpenAI的收入增长了18%,截至6月的三个月内,其收入增长到67亿美元,高于第一季度的57亿美元,但同期经营亏损由93亿美元扩大至123亿美元。这些结果让一些股东感到失望,他们希望OpenAI能取得更多进展,赶上Anthropic。

在不久前,Anthropic对外披露2026年二季度营收超115亿美元。近期Anthropic还向投资者披露,截至7月底,公司年化营收(ARR)已突破650亿美元。

一个问题是,竞争对手仍在加速、投资者仍在追问增长时,一家前沿模型公司是否真的愿意为尚未完全量化的风险延后训练和发布?这还有待观察。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
10楼掉下来的3岁娃被雨棚救了,店主修棚花980,家长转来1000,退回20块时说了一句话,听得人心里发酸

10楼掉下来的3岁娃被雨棚救了,店主修棚花980,家长转来1000,退回20块时说了一句话,听得人心里发酸

可读
2026-10-19 22:36:31
今晚开播,央八、湖南、东方等卫视黄金档排播4部大剧,追哪部

今晚开播,央八、湖南、东方等卫视黄金档排播4部大剧,追哪部

草莓解说体育
2026-10-24 16:47:39
逆天,网传某高校女生投诉害怕对面男生偷窥,学校给男生宿舍窗户安装单向遮光膜!

逆天,网传某高校女生投诉害怕对面男生偷窥,学校给男生宿舍窗户安装单向遮光膜!

黯泉
2026-10-24 18:12:41
俄罗斯的血泪教训正在警示世界:历史反复印证,哪怕押上整个国运去对抗,也绝不能对西方抱有一丝一毫的幻想,这就是血的教训

俄罗斯的血泪教训正在警示世界:历史反复印证,哪怕押上整个国运去对抗,也绝不能对西方抱有一丝一毫的幻想,这就是血的教训

人生录
2026-08-17 00:05:13
克雷桑:不管成都的结果如何,我们回到主场会全力以赴争胜

克雷桑:不管成都的结果如何,我们回到主场会全力以赴争胜

懂球帝
2026-10-24 20:37:48
他不顾一切和学生结婚,又因生二胎丢掉饭碗,二胎长大赚千亿回报

他不顾一切和学生结婚,又因生二胎丢掉饭碗,二胎长大赚千亿回报

米果说识
2026-10-20 09:39:19
五菱掀桌子了!搭载35kW电机,配备17.65kWh电池,支持220km续航

五菱掀桌子了!搭载35kW电机,配备17.65kWh电池,支持220km续航

沙雕小琳琳
2026-10-24 10:41:59
特朗普支持率跌至31%,民主党一旦赢得选举,对华立场将更强硬?

特朗普支持率跌至31%,民主党一旦赢得选举,对华立场将更强硬?

铁锤侃侃而谈
2026-10-24 10:22:19
穷得心安理得,比穷更可怕。 23岁姑娘没工作,拖男友一起窝出租屋。一歇就是大半年,男友也辞了职。两人只能天天吃泡面,担心怀孕

穷得心安理得,比穷更可怕。 23岁姑娘没工作,拖男友一起窝出租屋。一歇就是大半年,男友也辞了职。两人只能天天吃泡面,担心怀孕

捣蛋窝
2026-10-05 11:34:30
热刺伦敦德比6连败,但队史从未遭遇7连败

热刺伦敦德比6连败,但队史从未遭遇7连败

懂球帝
2026-10-24 06:04:09
一妈妈穿太辣和青春期儿子合影遭网友怒批:儿大避母都不懂吗?

一妈妈穿太辣和青春期儿子合影遭网友怒批:儿大避母都不懂吗?

观世记
2026-10-16 16:45:45
女子和男友发生关系后累的睡着,被惊醒后发现男友另有所图,屋内还有一个陌生男,男友一口咬定自己是在嫖娼

女子和男友发生关系后累的睡着,被惊醒后发现男友另有所图,屋内还有一个陌生男,男友一口咬定自己是在嫖娼

丫头舫
2026-10-14 11:01:31
皇马VS巴萨:国家德比穆帅最强出击,法国双星坐镇,贝林领衔姆巴佩冲锋

皇马VS巴萨:国家德比穆帅最强出击,法国双星坐镇,贝林领衔姆巴佩冲锋

零度眼看球
2026-10-24 09:01:10
65年彭德怀出发三线,几次求见周总理未果,总理:君子之交淡如水

65年彭德怀出发三线,几次求见周总理未果,总理:君子之交淡如水

幻梦人生
2024-12-01 09:45:06
39岁张雪再破天花板!央视正式官宣,德比斯连同整个车坛都沉默了

39岁张雪再破天花板!央视正式官宣,德比斯连同整个车坛都沉默了

探长影视解说
2026-10-22 18:35:13
9国6万人在日本军演,石破茂也不再忍了:高市对中国犯重大误判!

9国6万人在日本军演,石破茂也不再忍了:高市对中国犯重大误判!

共工之锚
2026-10-24 00:46:21
字母哥砍下36+12无缘今日最佳!只因塔图姆一战比肩伯德等名宿

字母哥砍下36+12无缘今日最佳!只因塔图姆一战比肩伯德等名宿

篮球圈里的那些事
2026-10-24 13:18:33
哈啰顺风车“涉黄”上热搜:订单留言区,比暗网还直白!

哈啰顺风车“涉黄”上热搜:订单留言区,比暗网还直白!

城事堂
2026-10-24 09:08:09
给最近热播的国剧排个名,嫁金钗第4、醉梦第9、第一名杀疯了

给最近热播的国剧排个名,嫁金钗第4、醉梦第9、第一名杀疯了

追星顶流大姑娘
2026-10-24 17:00:17
39岁郑欣宜在沈殿霞墓前哭得像个孩子,6000万信托,母亲算尽一切

39岁郑欣宜在沈殿霞墓前哭得像个孩子,6000万信托,母亲算尽一切

江启
2026-10-23 09:20:49
2026-10-24 21:19:00
第一财经资讯 incentive-icons
第一财经资讯
第一财经官方账号
270312文章数 623939关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

车主花16元叫来的代驾撞毁宾利 维修费或20万平台失联

头条要闻

车主花16元叫来的代驾撞毁宾利 维修费或20万平台失联

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

健康
艺术
亲子
家居
游戏

痘痘能根治吗?皮肤科医生说实话

艺术要闻

全城轰动!香港中环LV旗舰店亮相,一个巨型首饰箱!

亲子要闻

孩子压力太大行为吓坏父母,孩子有这样的情况,家长就要注意了

家居要闻

2026建博会(广州) 公装联探展交流活动

《2077》塞进浏览器!不是云游戏 手机也能玩

无障碍浏览 进入关怀版