网易首页 > 网易号 > 正文 申请入驻

“急踩刹车”,OpenAI暂缓前沿模型训练两周

0
分享至

来源:第一财经

  北京时间8月19日,OpenAI CEO萨姆·奥尔特曼(Sam Altman)表示,公司暂停了部分前沿模型的强化学习(RL)训练,以确保安全、对齐和监控能力能够跟上新一轮模型能力跃迁。

  他提到,模型进展现在极其迅速,“如果我们觉得模型能力的发展速度超过了安全和对齐的步伐,我们将采取行动。”


  根据OpenAI博客中的信息,公司暂停了面向部署的最新模型强化学习训练两周,目前部分工作已经恢复,但其原计划规模最大的前沿强化学习训练仍被搁置。OpenAI正在以更小规模的训练和评估观察模型行为、验证安全措施,并积累更多对齐证据。

  在评论区奥尔特曼补充称,OpenAI仍然预计很快推出新模型,但是目前的这一暂缓训练会影响更远的发布。

  OpenAI突然减速,与过去一个月接连出现的安全事件直接相关。

  7月,OpenAI在模型评估过程中遭遇了重大安全事件,当时,OpenAI的模型安全测试演变成针对开源平台Hugging Face的真实网络攻击。Anthropic在7月也披露了三起AI模型安全测试入侵事件。

  在8月初,英国人工智能安全研究所(AISI)也发布报告称,在近期一次例行网络安全评估中,Anthropic和OpenAI的最新模型在互联网上采取了未经授权的自主行动,表现出可能具有欺骗性的行为。报告再次说明模型安全问题的严重性。

  另一个让OpenAI踩下刹车的信号来自Astra。OpenAI表示,内部观察到即将推出的模型之一Astra可能达到OpenAI 《准备框架》规定的“关键网络安全能力”门槛。模型能力触发了更高等级的内部安全要求。

  这些事件让OpenAI迫切地需要加强在训练过程各个阶段的监控、协调和遏制措施。“随着模型能力的提升,内部开发和测试的风险也随之增加。我们的监控、校准和安全标准必须始终领先于这些风险。”OpenAI称,为此内部暂时放慢了扩展速度。

  OpenAI将安全体系概括成三个部分:一个是监控(Monitoring),发现值得警惕的行为,并能够及时做出响应。其次是对齐(Alignment),降低模型采取有害或未经授权行动的可能性。第三是安全措施(Security measures),限制 AI 系统能够访问或影响的对象和范围。

  OpenAI表示,在安全事件后,内部已通过新的监控方案改进并扩展了监控方法。新的监控系统采用多阶段机制,目标是在监控系统发现可疑活动后的30分钟内发出警报。所有涉及Sol级或更高级别模型工具的强化学习训练和评估都需要进行此项监控。

  安全并不免费,这些安全措施需要大量的计算资源。OpenAI估算,监控开销大约占被监控推理计算量的20%,不同训练和评估任务之间会有明显差异。

  OpenAI此次解释并没有消除外界的全部疑问。

  一些网友提出,所谓“完成安全加固和红队测试”,对公司之外的人仍然近似一个黑箱。用户能够看到什么证据,从而验证模型已经达到要求,而不是只能相信OpenAI的自我判断?

  甚至也有人认为,这也许只是当前一种比较流行的营销手段罢了。有网友结合最近一些管理人员离开OpenAI的动态,认为情况不对劲,“因安全原因暂停是否会成为其他实验室新叙事模板,用来解释训练运行表现不佳的情况。”毕竟从OpenAI外部很难区分这两者。

  OpenAI在博客中提到,将在未来几周内发布一份关于OpenAI所获得的经验的技术报告。这里面或许会有更详尽的解答。

  值得一提的是,这次减速发生在OpenAI商业压力上升之际。今日有外媒报道称,投资者对OpenAI收入的增长速度感到失望,因为其远低于竞争对手Anthropic。

  外媒从投资者那里获得的消息是,从第一季度到第二季度OpenAI的收入增长了18%,截至6月的三个月内,其收入增长到67亿美元,高于第一季度的57亿美元,但同期经营亏损由93亿美元扩大至123亿美元。这些结果让一些股东感到失望,他们希望OpenAI能取得更多进展,赶上Anthropic。

  在不久前,Anthropic对外披露2026年二季度营收超115亿美元。近期Anthropic还向投资者披露,截至7月底,公司年化营收(ARR)已突破650亿美元。

  一个问题是,竞争对手仍在加速、投资者仍在追问增长时,一家前沿模型公司是否真的愿意为尚未完全量化的风险延后训练和发布?这还有待观察。

  (本文来自第一财经)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
欧盟对京东进行调查,司法部发布公告:欧盟构成不当域外管辖措施 任何组织、个人不得执行

欧盟对京东进行调查,司法部发布公告:欧盟构成不当域外管辖措施 任何组织、个人不得执行

每日经济新闻
2026-08-19 23:27:42
重器:于三花活着回来不是救了钱兴良,那具顶了她八年名的无名女尸,才真被捞出来

重器:于三花活着回来不是救了钱兴良,那具顶了她八年名的无名女尸,才真被捞出来

周哥一影视
2026-08-20 13:36:05
最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

周军律师聊案子
2026-04-21 09:50:16
郑丽文笑到最后!国台办出手、8字吓惨赖清德,“台独”末日到了

郑丽文笑到最后!国台办出手、8字吓惨赖清德,“台独”末日到了

有牙的兔纸
2026-08-20 13:31:46
20个20cm涨停,几乎全是医药股!如何理解大跌次日,A股仅缩量反弹?

20个20cm涨停,几乎全是医药股!如何理解大跌次日,A股仅缩量反弹?

每经牛眼
2026-08-20 15:51:47
灾难级操作!交易评级F,掘金放走潜力股沃特森,约基奇被坑惨了

灾难级操作!交易评级F,掘金放走潜力股沃特森,约基奇被坑惨了

青青衫书生
2026-08-20 17:18:04
Lisa晒新纹身,但如今的她彻底大变样,恢复铁刘海也让人认不出了

Lisa晒新纹身,但如今的她彻底大变样,恢复铁刘海也让人认不出了

芊手若
2026-08-20 13:14:26
14天8个涨停板!股民:撑死胆大的!

14天8个涨停板!股民:撑死胆大的!

数据挖掘分析
2026-08-20 15:18:23
郭德纲曾经在《欢乐喜剧人》对沈腾说:“赐名沈云腾”沈腾没接话

郭德纲曾经在《欢乐喜剧人》对沈腾说:“赐名沈云腾”沈腾没接话

西楼知趣杂谈
2026-08-19 21:16:19
为啥有人断子绝孙,有人却子孙满堂?原因只有5个字

为啥有人断子绝孙,有人却子孙满堂?原因只有5个字

历史教堂
2026-08-19 06:23:17
1960年,赵一曼的儿子写信讽刺毛主席,主席没有追究,说了6个字

1960年,赵一曼的儿子写信讽刺毛主席,主席没有追究,说了6个字

帝哥说史
2026-05-23 06:30:03
小区业主群到底有多少乐子?网友:瓜多的根本吃不完

小区业主群到底有多少乐子?网友:瓜多的根本吃不完

康富贵碎碎念
2026-08-10 12:51:14
“3个女儿非亲生案”后续!女儿被接走,女方一家将韦先生当仇人

“3个女儿非亲生案”后续!女儿被接走,女方一家将韦先生当仇人

冰语历史
2026-08-20 10:32:06
为什么我们不会帮伊朗?第一,关系并没有那么好。第二,根本就没有必要。第三,反过来,伊朗也不会帮我们。第四,主动招惹强敌,不明智

为什么我们不会帮伊朗?第一,关系并没有那么好。第二,根本就没有必要。第三,反过来,伊朗也不会帮我们。第四,主动招惹强敌,不明智

扶苏聊历史
2026-08-18 16:43:02
想不到!离婚27年的王菲,竟给56岁的落魄大叔窦唯留下一手好牌

想不到!离婚27年的王菲,竟给56岁的落魄大叔窦唯留下一手好牌

调侃国际观点
2026-08-20 11:34:13
日本全面叫停种植牙?种牙潜藏的风险与后遗症,一次为你讲明白

日本全面叫停种植牙?种牙潜藏的风险与后遗症,一次为你讲明白

健康科普365
2026-08-13 14:30:15
为什么电车只在中国火,国外没人要?新能源车是“伪需求”吗?

为什么电车只在中国火,国外没人要?新能源车是“伪需求”吗?

离离言几许
2026-08-19 17:25:58
人老了,各种病都来了?医生提醒:3种营养跟得上,疾病远离你

人老了,各种病都来了?医生提醒:3种营养跟得上,疾病远离你

看世界的人
2026-08-20 11:21:40
中央巡查当场抓包!湖南多人送公安:糊弄检查的日子,彻底到头了

中央巡查当场抓包!湖南多人送公安:糊弄检查的日子,彻底到头了

观星赏月
2026-08-20 02:00:54
牙根萎缩、牙齿晃悠不用拔!牢记3个方法,慢慢养回好牙龈

牙根萎缩、牙齿晃悠不用拔!牢记3个方法,慢慢养回好牙龈

小胡军事爱好
2026-08-19 17:33:17
2026-08-20 18:11:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4488076文章数 9326关注度
往期回顾 全部

科技要闻

快手Q2研发狂烧45亿:如何面对双面夹击

头条要闻

网友称"升学宴致5死主家被警方带走" 相关部门回应

头条要闻

网友称"升学宴致5死主家被警方带走" 相关部门回应

体育要闻

拥有“儿皇梦”的罗德里,为何选择巴萨?

娱乐要闻

任重晒全家福官宣二胎喜讯

财经要闻

许家印被判处无期 恒大集团被罚88.2亿

汽车要闻

智能硬派越野方盒子 享界G9上市售42.98万起

态度原创

游戏
数码
家居
教育
公开课

《黑钟馗》长刀化身暗藏玄机!招式考究 细节惊呆

数码要闻

Ocypus魔鬼隐翅虫德尔塔C40数显版M-ATX机箱发售,449元起

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

数字推理,这题型规律不是很好找

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版