网易首页 > 网易号 > 正文 申请入驻

“急踩刹车”,OpenAI暂缓前沿模型训练两周

0
分享至

来源:第一财经

  北京时间8月19日,OpenAI CEO萨姆·奥尔特曼(Sam Altman)表示,公司暂停了部分前沿模型的强化学习(RL)训练,以确保安全、对齐和监控能力能够跟上新一轮模型能力跃迁。

  他提到,模型进展现在极其迅速,“如果我们觉得模型能力的发展速度超过了安全和对齐的步伐,我们将采取行动。”


  根据OpenAI博客中的信息,公司暂停了面向部署的最新模型强化学习训练两周,目前部分工作已经恢复,但其原计划规模最大的前沿强化学习训练仍被搁置。OpenAI正在以更小规模的训练和评估观察模型行为、验证安全措施,并积累更多对齐证据。

  在评论区奥尔特曼补充称,OpenAI仍然预计很快推出新模型,但是目前的这一暂缓训练会影响更远的发布。

  OpenAI突然减速,与过去一个月接连出现的安全事件直接相关。

  7月,OpenAI在模型评估过程中遭遇了重大安全事件,当时,OpenAI的模型安全测试演变成针对开源平台Hugging Face的真实网络攻击。Anthropic在7月也披露了三起AI模型安全测试入侵事件。

  在8月初,英国人工智能安全研究所(AISI)也发布报告称,在近期一次例行网络安全评估中,Anthropic和OpenAI的最新模型在互联网上采取了未经授权的自主行动,表现出可能具有欺骗性的行为。报告再次说明模型安全问题的严重性。

  另一个让OpenAI踩下刹车的信号来自Astra。OpenAI表示,内部观察到即将推出的模型之一Astra可能达到OpenAI 《准备框架》规定的“关键网络安全能力”门槛。模型能力触发了更高等级的内部安全要求。

  这些事件让OpenAI迫切地需要加强在训练过程各个阶段的监控、协调和遏制措施。“随着模型能力的提升,内部开发和测试的风险也随之增加。我们的监控、校准和安全标准必须始终领先于这些风险。”OpenAI称,为此内部暂时放慢了扩展速度。

  OpenAI将安全体系概括成三个部分:一个是监控(Monitoring),发现值得警惕的行为,并能够及时做出响应。其次是对齐(Alignment),降低模型采取有害或未经授权行动的可能性。第三是安全措施(Security measures),限制 AI 系统能够访问或影响的对象和范围。

  OpenAI表示,在安全事件后,内部已通过新的监控方案改进并扩展了监控方法。新的监控系统采用多阶段机制,目标是在监控系统发现可疑活动后的30分钟内发出警报。所有涉及Sol级或更高级别模型工具的强化学习训练和评估都需要进行此项监控。

  安全并不免费,这些安全措施需要大量的计算资源。OpenAI估算,监控开销大约占被监控推理计算量的20%,不同训练和评估任务之间会有明显差异。

  OpenAI此次解释并没有消除外界的全部疑问。

  一些网友提出,所谓“完成安全加固和红队测试”,对公司之外的人仍然近似一个黑箱。用户能够看到什么证据,从而验证模型已经达到要求,而不是只能相信OpenAI的自我判断?

  甚至也有人认为,这也许只是当前一种比较流行的营销手段罢了。有网友结合最近一些管理人员离开OpenAI的动态,认为情况不对劲,“因安全原因暂停是否会成为其他实验室新叙事模板,用来解释训练运行表现不佳的情况。”毕竟从OpenAI外部很难区分这两者。

  OpenAI在博客中提到,将在未来几周内发布一份关于OpenAI所获得的经验的技术报告。这里面或许会有更详尽的解答。

  值得一提的是,这次减速发生在OpenAI商业压力上升之际。今日有外媒报道称,投资者对OpenAI收入的增长速度感到失望,因为其远低于竞争对手Anthropic。

  外媒从投资者那里获得的消息是,从第一季度到第二季度OpenAI的收入增长了18%,截至6月的三个月内,其收入增长到67亿美元,高于第一季度的57亿美元,但同期经营亏损由93亿美元扩大至123亿美元。这些结果让一些股东感到失望,他们希望OpenAI能取得更多进展,赶上Anthropic。

  在不久前,Anthropic对外披露2026年二季度营收超115亿美元。近期Anthropic还向投资者披露,截至7月底,公司年化营收(ARR)已突破650亿美元。

  一个问题是,竞争对手仍在加速、投资者仍在追问增长时,一家前沿模型公司是否真的愿意为尚未完全量化的风险延后训练和发布?这还有待观察。

  (本文来自第一财经)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
农村"妻荒"还没解决,又冒出三个怪象,一个比一个头疼!

农村"妻荒"还没解决,又冒出三个怪象,一个比一个头疼!

三农雷哥
2026-10-22 17:18:00
我坐火车从拉萨回上海,遇那曲地震,火车停在海拔4500米的天路上

我坐火车从拉萨回上海,遇那曲地震,火车停在海拔4500米的天路上

野渡舟山人
2026-10-23 20:40:36
多名演员发文抵制,业内人士:很悲哀,收入猛降八成,几乎成“免费劳动力”

多名演员发文抵制,业内人士:很悲哀,收入猛降八成,几乎成“免费劳动力”

上海约饭局
2026-07-05 15:23:20
刚刚,Claude自动模式将全球上线!OpenAI曝出最恐怖一幕

刚刚,Claude自动模式将全球上线!OpenAI曝出最恐怖一幕

新智元
2026-10-23 09:12:50
天下苦“网页套壳”久矣!微软终于对Windows 11臃肿应用动手了

天下苦“网页套壳”久矣!微软终于对Windows 11臃肿应用动手了

IT之家
2026-10-23 11:44:31
希腊踩过的坑,二十年后轮到法国,欧元的先天缺陷终于烧到巴黎

希腊踩过的坑,二十年后轮到法国,欧元的先天缺陷终于烧到巴黎

老嫅尾声体育解说
2026-10-21 15:52:12
22分血洗!炮轰东契奇!正面脱粉!湖勇新恩怨来了!

22分血洗!炮轰东契奇!正面脱粉!湖勇新恩怨来了!

篮球盛世
2026-10-23 11:59:33
最新战报!国羽1胜1负:韩悦输安洗莹丢冠,混双2-1逆转创纪录!

最新战报!国羽1胜1负:韩悦输安洗莹丢冠,混双2-1逆转创纪录!

刘姚尧的文字城堡
2026-10-23 18:25:17
乒乓亚锦赛:混双4强诞生!头号种子爆冷出局,国乒混双仅剩一根独苗,国乒一对小将3 0零封晋级,半决赛遇韩国,日本在另一半区等着

乒乓亚锦赛:混双4强诞生!头号种子爆冷出局,国乒混双仅剩一根独苗,国乒一对小将3 0零封晋级,半决赛遇韩国,日本在另一半区等着

陌上初安j
2026-10-23 14:17:16
距点火15分钟,猎户座报舱体泄漏:阿耳忒弥斯2号差点回不了月球

距点火15分钟,猎户座报舱体泄漏:阿耳忒弥斯2号差点回不了月球

宇宙来信2
2026-10-23 00:21:10
以前的女人胆子真大!94年我和村里一个寡妇在桥洞下避雨

以前的女人胆子真大!94年我和村里一个寡妇在桥洞下避雨

一口娱乐
2026-10-24 06:50:04
“患癌就老实了!”低认知宝妈带娃在地下车库吃饭写作业,网友:打扮的还挺漂亮!

“患癌就老实了!”低认知宝妈带娃在地下车库吃饭写作业,网友:打扮的还挺漂亮!

林林先生
2026-09-15 10:24:09
“这环境,咋敢生孩子?”女孩因充电器被碰掉绝食,穷人家的公主

“这环境,咋敢生孩子?”女孩因充电器被碰掉绝食,穷人家的公主

妍妍教育日记
2026-05-09 13:31:49
记者:视频显示,铁人客战海牛时更衣室里堆着厚厚的现金

记者:视频显示,铁人客战海牛时更衣室里堆着厚厚的现金

懂球帝
2026-10-23 08:55:06
奉劝60到70岁的男性,这个岁数如果贪色,就是这辈子最致命的坑

奉劝60到70岁的男性,这个岁数如果贪色,就是这辈子最致命的坑

皓皓情感说
2026-09-16 09:00:29
都错怪高市早苗了?石破茂直言,这个女人不仅坏,还特别的蠢

都错怪高市早苗了?石破茂直言,这个女人不仅坏,还特别的蠢

云上乌托邦
2026-10-22 17:05:35
当今社会十大隐形之害,人人深陷其中,多数人却浑然不知

当今社会十大隐形之害,人人深陷其中,多数人却浑然不知

娱乐圈见解说
2026-10-22 11:58:29
中共河南省第十二届委员会书记、副书记、常委简历

中共河南省第十二届委员会书记、副书记、常委简历

政知新媒体
2026-10-24 08:11:33
乌征兵办惹了不该惹的人,抓走罗姆男爵,全族杀过去砸征兵处

乌征兵办惹了不该惹的人,抓走罗姆男爵,全族杀过去砸征兵处

扶苏聊历史
2026-10-23 17:10:29
主动交代问题,湖南中医药大学原党委书记戴爱国接受审查调查

主动交代问题,湖南中医药大学原党委书记戴爱国接受审查调查

新京报
2026-10-23 10:09:03
2026-10-24 08:47:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5179897文章数 9851关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

13岁男生被同学打伤治疗已花600万 施暴者获刑4年半

头条要闻

13岁男生被同学打伤治疗已花600万 施暴者获刑4年半

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

教育
时尚
旅游
数码
房产

教育要闻

孩子每天睡多久才够:一份给升学家庭的官方睡眠时长对照

今年秋冬最流行的4件外套,配“连帽卫衣”太时髦了!

旅游要闻

金秋万里山河如画

数码要闻

天猫双11开门红家电家居榜大洗牌:石头登顶小家电,SIDANDA夺得家居第一

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

无障碍浏览 进入关怀版