网易首页 > 网易号 > 正文 申请入驻

揭秘:OpenAI是如何发展出推理模型的?

0
分享至

当全世界都在为ChatGPT的横空出世而狂欢时,你可能不知道,这只是OpenAI一次“无心插柳”的惊喜。科技媒体Techcrunch一篇最新的深度文章揭示了,OpenAI从数学竞赛走向“通用AI智能体”(AI Agents)的宏大愿景。这背后,是一个长达数年的深思熟虑的布局,以及其对AI“推理”能力的终极探索。

意外的起点:数学

很多人以为OpenAI的成功故事是从ChatGPT开始的,但真正的颠覆性力量,却源于一个看似与大众应用相去较远的地方——数学。

2022年,当研究员亨特·莱特曼(Hunter Lightman)加入OpenAI时,他的同事们正在为ChatGPT的发布而忙碌。这款产品后来火遍全球,成为现象级的消费应用。但与此同时,莱特曼却在一个不起眼的团队“MathGen”里,默默地教AI模型如何解答高中数学竞赛题。

“我们当时正努力让模型在数学推理上做得更好”,Lightman回忆道。而这场看似偏离主线的探索,恰恰是OpenAI发展推理模型的起点。

为什么是数学?因为数学是纯粹逻辑和推理的试金石。如果一个模型能真正理解并解决复杂的数学问题,意味着它开始具备了初步的推理能力。

回过头看,ChatGPT的成功更像一个“美丽的意外”——用内部的话说,这是一个低调的研究预览版,却意外引爆了消费市场。

但OpenAI的CEO山姆·奥特曼(Sam Altman)的目光,早已投向了更远的地方。在2023年的首届开发者大会上,他清晰地描绘了未来:

最终,你只需告诉计算机你需要什么,它就会为你完成所有这些任务。这些能力,在AI领域通常被称为智能体(Agents)。其带来的好处将是巨大的。

而那项在当年略显“低调”的工作,成果斐然。近期,OpenAI的一个模型在国际数学奥林匹克竞赛(IMO)中摘得金牌,这是全球顶尖高中生的智慧竞技场。

OpenAI坚信,这种在数学领域磨练出的推理能力,完全可以迁移到其他领域,并最终驱动他们梦寐以求的通用AI智能体。

“草莓”计划:引爆推理革命的关键突破

早期的GPT模型擅长处理文本,但在基础数学面前却常常“犯糊涂”。

从基础的语言处理到复杂的逻辑推理,OpenAI是如何跨越这道鸿沟的?转机发生在2023年,OpenAI通过一种创新的方法,实现了推理能力的飞跃。这一突破最初的内部代号为“Q*”,后又被称为“Strawberry”(草莓)。

其核心,是将三种技术进行了前所未有的结合:

  1. 大语言模型(LLM):提供海量的知识基础和语言能力。

  2. 强化学习(RL):在模拟环境中,通过“奖惩”机制(即反馈答案是否正确)来训练模型做出更优选择。这与当年AlphaGo击败李世石的技术同源。

  3. 测试时计算(Test-time computation):给予模型更多的时间和算力去“思考”,在给出最终答案前,反复规划、验证和检查自己的步骤。

这个组合拳催生了一种全新的方法——“思考链”(Chain-of-Thought, CoT)。模型不再是直接给出答案,而是像人一样,会展现出完整的解题思路。研究员埃尔·基什基(El Kishky)在描述当时的场景时难掩兴奋:

我能看到模型开始推理了。它会注意到错误并回溯,它会感到沮丧。这真的就像在阅读一个人的思想。

这项突破直接促成了2024年秋天o1推理模型的问世。o1的出现震惊了世界,也让其背后的21名核心研究员成为了硅谷最炙手可热的人才。Meta的扎克伯格不惜开出上亿美元的薪酬包,挖走了其中五位,以组建其专注于超级智能的新部门。

探索AI“推理”的本质

AI真的在“推理”吗?还是只是更高级的模仿?

面对这个问题,OpenAI的研究员们表现得相当务实。El Kishky从计算机科学的角度解释:“我们正在教模型如何有效地消耗算力来得到答案。如果这样定义,那它就是推理。”

另一位研究员Lightman则更关注结果:“如果模型能完成困难的任务,那么它就在进行某种必要的、近似于推理的过程。我们可以称之为推理,但这只是为了创造出强大、有用工具的一种说法。”

非营利组织AI2的研究员Nathan Lambert用了一个绝妙的比喻:AI推理之于人类思考,就像飞机之于鸟类飞行。飞机并非通过模仿鸟类扇动翅膀来实现飞行,但它同样征服了天空。AI的“推理”机制与人脑不同,但这并不妨碍它实现相似甚至更强大的结果。

这种对终极目标的专注,而非拘泥于形式,恰恰是OpenAI文化的核心。据前员工透露,公司“一切研究都是自下而上的”,只要团队能证明其想法的突破性,公司就会倾斜宝贵的GPU和人才资源。正是这种对AGI(通用人工智能)使命的执着,而非短期产品利益的追求,才让OpenAI敢于在推理模型上进行如此巨大的投入,并最终抢占先机。

下一个前沿:从客观编码到主观任务

如今,AI智能体在一些定义明确、可验证的领域已经初显身手,例如帮助程序员完成编码任务。但当人们尝试让它处理更复杂、更主观的任务,比如“帮我找一个性价比最高的长期停车位”或“帮我规划一次完美的家庭旅行”时,它们往往会犯一些低级错误,或者耗时过长。

这背后的核心瓶颈是什么?Lightman一针见血地指出:“和机器学习中的许多问题一样,这是一个数据问题。”

如何训练模型处理那些没有标准答案、更偏主观的任务,是当前研究的前沿。OpenAI研究员Noam Brown透露,他们已经掌握了新的通用强化学习技术,可以训练模型学习那些不易验证的技能,IMO金牌模型就是基于此诞生的。该模型能生成多个“智能体分身”,同时探索不同解题路径,最后选出最优解。

这预示着AI的未来演进方向:从单一模型到多智能体协作,从处理客观事实到理解主观意图。

OpenAI的终极蓝图,是打造一个能为你处理互联网上任何事情、并能心领神会你的偏好的超级智能体。这与今天的ChatGPT形态迥异,但其所有的研究,都坚定地指向这个方向。

毫无疑问,OpenAI曾是AI行业的绝对引领者,但如今,它面临着来自Google、Anthropic、xAI和Meta等一众强劲对手的围剿。问题已经不再是OpenAI能否实现其“智能体未来”,而是它能否在被对手超越之前,率先抵达终点。这场关乎未来的竞赛,才刚刚开始。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
日本网友吐槽中餐油大份量足,对身体不好,美国网友一语戳破:别扯什么健康了,看看咱们自己的餐桌

日本网友吐槽中餐油大份量足,对身体不好,美国网友一语戳破:别扯什么健康了,看看咱们自己的餐桌

磊子讲史
2026-10-16 14:51:13
马斯克等一众巨头心照不宣,不远万里赶来中国,唯恐错过这场盛会

马斯克等一众巨头心照不宣,不远万里赶来中国,唯恐错过这场盛会

金戈远望
2026-11-19 12:27:55
两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

侃故事的阿庆
2026-11-18 06:41:18
俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

人生录
2026-10-15 06:06:09
上世纪50年代,到底杀了多少地主恶霸?公布的数据,让人不敢相信

上世纪50年代,到底杀了多少地主恶霸?公布的数据,让人不敢相信

文史道
2025-11-15 06:45:03
加拿大来宾初尝深圳云片糕:可以带回去与朋友分享

加拿大来宾初尝深圳云片糕:可以带回去与朋友分享

南方都市报
2026-11-19 22:22:14
千亿老板拎包,陪老父亲逛商场购物,再大的老板在爹面前也是孩子

千亿老板拎包,陪老父亲逛商场购物,再大的老板在爹面前也是孩子

Mz娱乐前沿
2026-11-19 21:01:32
比实体店关店更恐怖的是:中国正在失控的商铺空置潮持续扩大

比实体店关店更恐怖的是:中国正在失控的商铺空置潮持续扩大

说故事的阿袭
2026-11-13 12:03:15
这一轮资产缩水,几乎没有漏网之鱼!大家都在亏,只是亏的地方不同

这一轮资产缩水,几乎没有漏网之鱼!大家都在亏,只是亏的地方不同

放开他让wo来
2026-11-19 09:41:55
工龄37年,个人账户254459.5元,上海55岁退休,天花板养老金!

工龄37年,个人账户254459.5元,上海55岁退休,天花板养老金!

乐天果果
2026-11-08 07:46:42
这位微胖身材的阿姨用一身简单的打扮,穿出了独特的魅力

这位微胖身材的阿姨用一身简单的打扮,穿出了独特的魅力

美女穿搭分享
2026-11-18 20:32:22
澳媒曾言:中国总被描述为全球第2大经济体,这并非事实

澳媒曾言:中国总被描述为全球第2大经济体,这并非事实

户外钓鱼哥阿旱
2026-11-08 12:52:25
APEC晚宴菜单曝光,看看都吃了啥

APEC晚宴菜单曝光,看看都吃了啥

极目新闻
2026-11-19 10:23:08
铁了心对付中国?暴跌58%,俄罗斯大幅加税,中国汽车出口骤降

铁了心对付中国?暴跌58%,俄罗斯大幅加税,中国汽车出口骤降

听风喃
2026-10-17 08:00:36
开始动真格!追溯30年倒查来了,这4类人要当心!

开始动真格!追溯30年倒查来了,这4类人要当心!

细说职场
2026-11-19 16:28:20
日本已经明牌了!他们对中国发起的不仅仅是冲突那么简单

日本已经明牌了!他们对中国发起的不仅仅是冲突那么简单

扶苏聊历史
2026-11-17 15:36:36
曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

人生录
2026-11-19 08:08:31
谢霆锋现身西湖边试吃西湖醋鱼,网友喊话:“别停,再来第二筷”

谢霆锋现身西湖边试吃西湖醋鱼,网友喊话:“别停,再来第二筷”

韩小娱
2026-11-17 10:28:00
80年NBA绝无仅有,19岁弗拉格又创纪录,二年级已是巨星

80年NBA绝无仅有,19岁弗拉格又创纪录,二年级已是巨星

大西体育
2026-11-19 15:20:30
“深圳现象”下,所有广州人该有的反思

“深圳现象”下,所有广州人该有的反思

王二哥老搞笑
2026-11-19 16:41:19
2026-11-20 01:31:00
华尔街见闻官方 incentive-icons
华尔街见闻官方
中国领先的金融商业信息提供商
155249文章数 2655521关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
房产
健康
游戏
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

房产要闻

6.6亿!海口卖地!

医生眼里"很伤腰"的椅子,很多人天天坐

PC Gamer试玩GTA6百小时:双主角出色但任务重复

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版