网易首页 > 网易号 > 正文 申请入驻

GPT-5≈o3.1!OpenAI首次详解思考机制:RL+预训练才是AGI正道

0
分享至

鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI
  • 在某种程度上,GPT-5可以被视作是o3.1。

该观点出自OpenAI研究副总裁Jerry Tworek的首次播客采访,而Jerry其人,正是o1模型的主导者之一。

在他看来,相比GPT-4,GPT-5更像是o3的迭代,而OpenAI接下来要做的,就是再创造一个“o3奇迹”——构建能力更强、思考时间更长、能自主与多系统互动的模型。

在长达一小时的访谈中,Jerry Tworek侃侃而谈自己对GPT系列模型的思考。

从o1到GPT-5的模型演变历程讲起,介绍OpenAI的模型推理过程、公司内部架构、强化学习对OpenAI的意义,中间还穿插了他个人进入OpenAI的经历,以及对OpenAI未来走向AGI的想法。

  • 如果向10年前的人展示今天的ChatGPT,他们可能会称之为AGI。

另外,他也着重肯定了DeepSeek提出的GRPO算法贡献,推动了美国RL研究。

有趣的是,当他谈及自己也是ChatGPT的重度“发烧友”,每月都会花200美元充值在上面时,网友发现了华点:

  • 万万没想到,OpenAI自家员工也要为ChatGPT付费。(doge)

不过有一说一,这场访谈的知识密度爆炸,非常值得一看,连他本人在社媒发帖,也说:

  • 如果你想要深入了解RL,那么这个播客不容错过。

GPT-5如何思考

主持人Matt Turk首先抛出了一个所有人都很好奇的问题:

  • 当我们和ChatGPT聊天时,它们正在思考些什么?

简单来说就是,什么是模型的推理。

Jerry Tworek当即一语中的,模型的推理过程类比于人类的思考,本质上都是寻找未知答案的过程,期间可能涉及执行计算、查找信息或自我学习。

推理过程具体表现在思维链上,自从OpenAI发布o1模型以来,这个概念开始变得广为人知。

它是将模型的思维过程用人类的语言口语化表述出来,整个过程就是:语言模型在大量人类知识上训练、学习如何像人类一样思考,然后通过思维链“翻译”回人类。

早期如果想要激发思维链,需要在提示词中描述“让我们一步步解决它”,因为如果直接提问,模型可能会推理失败,但只要让它分步进行,它就会生成一系列思维链,并最终得出结果。

所以通常情况下,模型在推理中花费的时间越长,结果往往会更好。

但OpenAI在实际用户反馈中发现,一般用户并不喜欢花费大量时间在等待上,这在一定程度上也影响了他们构建模型的决策路线。

现在OpenAI会同时将高推理模型与低推理模型通通都开放给用户,将模型思考时长的选择权交还用户,同时内部尝试编码启发式方法以找到合适的平衡。

而OpenAI推理模型的伊始还得从o1说起。

这也是OpenAI发布的第一个正式的推理模型。

不过作为o1的主要负责人,Jerry也相当坦诚地表示,o1主要擅长解决谜题,所以与其说它是真正有用的产品,更像是一次技术演示。

随后是o3的出现改变了这种局面,它也代表了AI发展过程中的结构性转变。

它是真正意义上有用的,能够熟练使用工具以及各种来源的上下文信息,并在寻求答案的过程中呈现出坚持不懈刨根问底的状态。

Jerry本人自己也是从o3开始完全信赖推理模型的。

所以从某种程度上讲,GPT-5更像是o3的迭代——o3.1,拥有一脉相承的思考过程。

在之后,OpenAI也会继续寻求下一个重大飞跃,即能力更强、思考更优,也更自主的推理模型。

加入OpenAI是自然而然的过程

但正是这样一个主导OpenAI推理模型的关键人物,Jerry Tworek最初进入这个领域却颇有一种命定感,独属于天才的灵光一现。

Jerry将这个过程比喻为一颗水晶的诞生,与生俱来想要从事科学研究的想法,在随后的学习工作生涯中逐渐明确,然后当OpenAI出现的那一刻,叮咚,时机已到。

而这一切还得从他儿时说起,Jerry在波兰长大,从小表现出超越同龄人的天赋,包括数学和科学,用他自己的话来说就是:

  • 它们是自然而然适合我的东西。

18岁的时候想要成为一名数学家,于是进入华沙大学学习数学,渴望追求真理,但“叛逆”的他因为厌倦学术界的死板和严苛,放弃了这个理想。

为了养家糊口,他决定成为一名交易员,利用自己的数学技能谋生,曾在摩根大通的股票衍生品交易部门实习,随后又离职创立对冲基金。

几年之后,对交易工作再次感到厌倦的他,陷入了职业期瓶颈。

直到DeepMind的DQN智能体的出现打破了这一僵局,他被其中的强化学习深深吸引,此前他认为分类器其实并不智能,但DQN展示出学习复杂行为的能力。

于是在2019年他加入了OpenAI,但最开始他在里面从事的是机器人项目,专注于灵巧操作。而这个项目也正是OpenAI著名的“用机器人解决魔方”项目,是强化学习与仿真实体交互的代表作之一。

随后就是众所周知的领导o1项目、推动OpenAI模型能力进步,而目前他的主要工作内容是和其他研究人员交流,集思广益完善研究计划。

在OpenAI内部,据Jerry所说,工作结构相当独特,是自上而下与自下而上的结合。

具体来说就是,公司整体专注于三到四个核心项目,集中精力押注,而研究人员在项目内部享有相对自下而上的自由。

整个研究部门总计约600人,但每个人都知道项目的所有内容,因为在OpenAI看来,让研究人员因为无法获取全部信息而不能做出最佳研究,这个风险远高于知识产权泄漏。

而OpenAI之所以能够快速发布产品,一年时间就从o1到GPT-5,归根结底是因为他们拥有良好的运营结构、巨大的发展势头,以及顶尖人才的高效产出,他们都相信自己所做工作的意义:

  • AI在历史上只会被构建和部署一次。

另外员工们也会大量使用内部工具,Jerry自己就是ChatGPT的深度用户,每个月都会为其支付费用,另外例如CodeX也被广泛应用在内部的代码编写中。

RL对OpenAI的关键一击

对Jerry本人来说,强化学习是引领他走进OpenAI的钥匙,而放眼看OpenAI整个公司,RL也是多次转折的关键。

今天的语言模型可以被认为是预训练和强化学习的结合:先进行预训练,然后在其之上进行强化学习,二者缺一不可。这也是OpenAI自2019年起的研究计划核心。

不过要想进一步了解RL在OpenAI的地位,首先要先清楚什么是RL。

Jerry认为,RL类似于训练狗,当狗表现良好时,可以给予“奖励”(零食或微笑),当狗做错事时,给予“惩罚”(例如转移注意力、表达不悦情绪)。

RL就是在模型中提供类似作用,如果模型的行为正确就给予积极奖励,反之行为不正确就给予负面奖励,其中的关键在于策略和环境:

  • 策略:指模型的行为,是一个将观察结果映射到行动的数学函数。
  • 环境:模型所看到的一切,必须是交互式的,而环境会根据模型的行动而演变,比如学习弹吉他时,会根据拨弦发出的声音获得反馈。RL就是教模型对环境变化做出反应的唯一途径。

随后DeepMind的DQN将RL带到了新的阶段——Deep RL,它将神经网络与强化学习相结合,诞生出真正有意义的智能体。

Jerry也分享了当年GPT-4刚训练完成的故事,那时内部团队对其表现并不满意,因为GPT-4在较长的回答中始终缺乏连贯性。

后续是通过RLHF(基于人类反馈的强化学习)解决了这个问题,即让人类对模型输出的内容提供反馈,并以此作为奖励。

也正是因为GPT-4碰到了RLHF,世界才拥有了“ChatGPT时刻”。

最近OpenAI在编程竞赛中出乎意料的优异表现,Jerry说也是因为研究人员长期使用编程谜题作为测试平台,来尝试他们的RL想法。

无心插柳柳成荫,在他们研究RL的进程中,也为OpenAI带来了阶段性荣誉。

所以只要能够评估当前结果并计算反馈信号,RL就能应用在任何领域,即使答案不只是简单的对与错。

但目前要想规模化RL,还是很有难度的,因为RL在实际运行中会出现很多可能出错的地方,相比预训练会有更多的瓶颈和故障类型。

它是一个非常精细的过程,类比RL和预训练,就是制造半导体要比制造钢铁要复杂得多。

另外,Jerry也对DeepSeek团队提出的全新的强化学习算法GRPO(组相对策略优化)表示了认可:

  • GRPO的开源,让许多缺乏高级RL研究项目的美国实验室,可以更快地启动并训练推理模型。
RL+预训练才是通往AGI的正确道路

关于AI的未来,Jerry Tworek也在最后提出了自己的见解。

首先是Agent,Jerry认为AI带来的积极影响,是可以通过自动化解决人类问题。

模型目前提供答案的速度非常之快,大概需要几分钟,而他们内部测试显示,在某些任务上模型其实可以独立思考30分钟、1小时或者更久,所以当前模型遇到的挑战是如何建立合适的产品来部署长时间的思考过程。

其中由基础推理驱动的Agent能够允许模型更长时间的独立思考,并解决更为复杂的任务,例如编程、旅游预订、设计等,所以AI智能体化是大势所趋。

模型对齐也是大众比较关心的问题之一,也就是引导模型行为符合人类价值观。

Jerry表示对齐问题本质上其实就是一个RL问题,要让模型深入理解其行为和可能导致的后果,才能让模型做出正确的选择。它将是永无止境的,因为对齐的概念将随着人类文明的演进而不断发展。

而如果要通往AGI,当前的预训练和RL肯定是必不可少的,当然后续肯定需要添加更多元素一起发力。

Jerry明确反对当前业界一些关于“纯RL是通往AGI的唯一途径”的观点,他坚信:

  • RL需要预训练才能成功,而预训练也需要RL才能成功,二者缺一不可。

虽然对于AGI,他也很难描述,具体什么时候模型可以在没有大量外部输出和人类干预的情况下,实现自我改进。

但他相信,OpenAI目前走在正确的道路上,未来的变化将会是新的复杂组件的添加,而绝非完全推翻现有的架构。

参考链接:
[1]https://x.com/mattturck/status/1978838545008927034
[2]https://www.youtube.com/watch?v=RqWIvvv3SnQ

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

老马拉车莫少装
2026-10-16 17:34:01
那个被全单位孤立的挂职干部,我陪他吃了一年食堂,如今他回来了

那个被全单位孤立的挂职干部,我陪他吃了一年食堂,如今他回来了

星宇共鸣
2025-12-26 09:58:41
我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

背包旅行
2026-11-17 21:26:39
每天梳一梳,毛发再生率逼近100%?中国团队这把“电击梳”,把米诺地尔甩在了身后

每天梳一梳,毛发再生率逼近100%?中国团队这把“电击梳”,把米诺地尔甩在了身后

爱医斯坦
2026-11-17 14:30:32
曼联太子社媒自宣离队,加盟皇马倒计时!未正式通知俱乐部被骂叛徒

曼联太子社媒自宣离队,加盟皇马倒计时!未正式通知俱乐部被骂叛徒

罗米的曼联博客
2026-11-18 10:33:26
今天8点!山东男篮VS广东宏远,徐杰带队欲复仇,高诗岩复出!

今天8点!山东男篮VS广东宏远,徐杰带队欲复仇,高诗岩复出!

体坛卡卡说
2026-11-18 10:30:08
外卖员完成配送后翻业主家门口柜子,拿出女鞋查看;物业:他在两个单元有类似行为,已报案

外卖员完成配送后翻业主家门口柜子,拿出女鞋查看;物业:他在两个单元有类似行为,已报案

大风新闻
2026-11-17 11:11:02
重磅交易设想!湖人打包4人报价希罗,新秀卡尔成为筹码

重磅交易设想!湖人打包4人报价希罗,新秀卡尔成为筹码

夜白侃球
2026-11-18 09:42:48
什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

黯泉
2026-11-16 18:53:19
男子认48岁女房东当干妈,每周去其家中蹭饭,酿成一场悲剧

男子认48岁女房东当干妈,每周去其家中蹭饭,酿成一场悲剧

晓艾故事汇
2025-09-08 17:00:17
Lisa拉斯维加斯驻唱现场变装引热议!伴舞脱衣失误险走光,Lisa自己迅速将衣服拉了上去

Lisa拉斯维加斯驻唱现场变装引热议!伴舞脱衣失误险走光,Lisa自己迅速将衣服拉了上去

韩小娱
2026-11-16 12:13:54
现场球迷高喊“邵佳一下课”!媒体人:邵佳一其实只输1场 不会下课

现场球迷高喊“邵佳一下课”!媒体人:邵佳一其实只输1场 不会下课

念洲
2026-11-18 08:16:24
利拉德25+5!开拓者105-106森林狼,鲍尔18+9+关键抢断!

利拉德25+5!开拓者105-106森林狼,鲍尔18+9+关键抢断!

运筹帷幄的篮球
2026-11-18 10:17:56
跟拍长达一个月!伊藤舞雪被粉丝「见面4秒就拍戏」!

跟拍长达一个月!伊藤舞雪被粉丝「见面4秒就拍戏」!

孤独的独角兽影视
2026-11-18 09:15:16
朝中社发文谴责日本拥核野心

朝中社发文谴责日本拥核野心

新华社
2026-11-15 20:49:19
让罗伯特·帕丁森演007,米高梅做了个违背祖宗的决定

让罗伯特·帕丁森演007,米高梅做了个违背祖宗的决定

动物奇奇怪怪
2026-11-18 01:30:52
日本乒协的遮羞布被撕碎了,松岛辉空父亲真敢说,原来松岛也悲情

日本乒协的遮羞布被撕碎了,松岛辉空父亲真敢说,原来松岛也悲情

可乐谈情感
2026-11-18 05:54:41
黄仁勋愿重返英伟达风波升级!方舟子怒批:不能让他继续肆无忌惮的当土皇帝了

黄仁勋愿重返英伟达风波升级!方舟子怒批:不能让他继续肆无忌惮的当土皇帝了

小徐讲八卦
2026-11-18 09:40:04
重蹈覆辙?俄罗斯至今都不敢相信,一场战争打掉了自己50年的国运

重蹈覆辙?俄罗斯至今都不敢相信,一场战争打掉了自己50年的国运

何侦爱体育
2026-11-11 09:18:56
《多喜一家人》央视开播!看完4集,我敢说:与《伟大的长征》相比,观众会断崖式下跌!

《多喜一家人》央视开播!看完4集,我敢说:与《伟大的长征》相比,观众会断崖式下跌!

Haha闲聊
2026-11-17 12:37:53
2026-11-18 11:59:00
量子位 incentive-icons
量子位
追踪人工智能动态
13691文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

旅游
时尚
本地
游戏
军事航空

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

英国法庭驳回索尼PlayStation数字内容集体诉讼

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版