网易首页 > 网易号 > 正文 申请入驻

现有路径不通?OpenAI、亚马逊考虑改变大模型训练方式

0
分享至

随着人工智能领域竞争进入深水区,行业顶尖研究人员正对现有的模型训练范式提出质疑。

来自OpenAI、Thinking Machines Lab以及亚马逊的研究人员正在探讨一种根本性的转变:放弃目前通用的“先预训练、后后训练”的标准流程,转而采用针对特定任务更早引入精选数据的训练模式,以解决现有模型的效率低下和“裂脑问题”等缺陷。

这一潜在的转变由亚马逊的David Luan等人大力倡导。其核心观点在于,目前的通用训练路径——即先赋予模型广泛的世界知识(如诗歌或园艺),再针对特定任务(如代码编写或客户退款)进行微调——在逻辑上并不总是合理的。研究人员认为,如果模型的最终用途已经确定,那么在预训练阶段就应引入与任务高度相关的精选数据,从而更直接地为最终目标服务。

这种方法论的调整若付诸实践,将深刻改变AI行业的开发格局。这不仅意味着开发团队可能不再需要按照预训练和后后训练进行人为分割,更预示着市场将从“一个通用模型适应所有场景”走向“基于不同数据集构建专用模型”的时代。这种转变将迫使开发者在训练初期就对数据进行更严格的筛选,从而决定模型在特定领域的专长与短板。

市场已经出现了这种分化的迹象。OpenAI目前正通过路由器将ChatGPT的查询分流至不同模型处理,并开发了如GPT-5-Codex等专用模型。这种策略反映出消费者对简单聊天机器人的需求,与公司追求超级智能、科学研究(如火星殖民或疾病治疗)等高端目标之间存在巨大差异。若进一步深化这一路线,OpenAI可能需要彻底重组其研究团队以适应完全不同的模型训练需求。

重塑训练逻辑:摒弃通用冗余

目前的AI训练规范在某种程度上模仿了人类的学习过程,即在童年时期积累广泛的基础知识,随后学习特定技能。然而,行业内部开始反思这一流程的效率。David Luan指出,对于一个旨在处理代码或客户服务的模型而言,花费大量算力去学习完全不相关的领域(如诗歌或园艺)是一种资源浪费。

这种“广撒网”式的预训练虽然直观,但也导致了诸如“裂脑问题”等技术瓶颈,即模型可能仅因提问方式的不同而给出错误的答案。新的思路主张将预训练过程用于接触与既定任务更相关的精选数据。OpenAI和Thinking Machines Lab的研究人员对此表示认同,部分人士甚至建议取消不同训练阶段的独立团队,将人员整合为一个统一的训练团队,以提高针对性。

专用模型崛起与组织重构

这一变革将对AI模型的最终形态产生深远影响。研究人员必须在训练早期就决定纳入哪些数据,这将直接决定模型的能力边界。例如,在早期训练中增加数学和代码数据而减少散文数据,可能会造就一个卓越的编程助手,但牺牲其在创意写作或与用户情感交流方面的能力。

这将导致未来AI市场不再依赖于对同一个预训练模型进行后期修补,而是涌现出大量基于不同基础数据集训练的专用模型。据OpenAI内部情况,公司已经意识到这种需求分化。一方面是消费者希望ChatGPT回答简单问题并充当聊天伙伴,另一方面是公司致力于推理模型和超级智能的前沿研究

。目前,OpenAI虽然所有模型仍基于同一预训练模型,但已通过路由技术和特定版本(如GPT-5-Codex)来应对这种复杂性。如果未来转向为不同目的训练完全独立的模型,将要求公司对研究团队进行彻底的重组。

硬件突破与资本押注

在软件训练模式酝酿变革的同时,硬件领域的创新也在加速,资本正密切关注能提升能效的新技术。光子芯片初创公司Neurophos刚刚完成了由比尔·盖茨旗下的Gates Frontier领投的1.1亿美元A轮融资,微软旗下的风险投资公司M12也参与其中。

Neurophos致力于设计利用光而非电子进行AI数学运算的芯片。据该公司联合创始人兼CEO Patrick Bowen介绍,其目标是在2028年交付一款芯片,其速度和效率将是英伟达Blackwell芯片的50倍。微软高管Marc Tremblay表示,现代AI推理对电力和算力的需求巨大,行业需要计算层面的突破。

与此同时,OpenAI也在加强自身的基础设施建设。OpenAI首席财务官Sarah Friar在世界经济论坛上透露,该公司的定制推理芯片正在进行“流片”,即制造前的最后一步。她还表示,去年宣布的价值超过5000亿美元的Stargate基础设施项目已建成过半,且“进展超乎想象”,公司已在甲骨文的Stargate园区服务器上训练模型。

行业整合与竞争动态

AI领域的并购与融资活动持续活跃。据The Information数据,旨在定制AI模型的软件公司Lightning AI与数据中心提供商Voltage Park合并,新公司估值超过25亿美元。此外,Yelp同意以3亿美元收购AI代理初创公司Hatch。谷歌DeepMind则通过许可协议聘请了语音AI初创公司Hume AI的CEO及多位顶尖工程师。

在巨头动向方面,据彭博报道,苹果正与谷歌谈判,计划利用其云基础设施及TPU芯片来推出更新版的Siri,并计划最早于2027年推出AI驱动的可穿戴设备。英伟达CEO黄仁勋据报正准备前往中国,试图在这个战略市场重新站稳脚跟。

在监管与伦理层面,Anthropic发布了Claude的新版“宪法”,相比2023年的初版,新文件减少了指令性,给予模型更多判断空间,并罕见地提及了模型可能具有某种“意识”或“道德地位”的可能性。白宫经济顾问委员会则发布报告预测,生成式AI将引发美国经济的深刻转型,有望显著提振生产力和增长。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
马继华为何敢接连挑衅樊振东?三大理由+一个“大后台”

马继华为何敢接连挑衅樊振东?三大理由+一个“大后台”

陈锌特色美食
2026-03-25 16:33:02
他是国军陆军总司令,手下走出8名元帅7大将,死后两岸共同哀悼

他是国军陆军总司令,手下走出8名元帅7大将,死后两岸共同哀悼

史之铭
2026-03-26 17:20:17
CCTV5直播!国足热身“世界杯新贵”,15.9万人小国,邵佳一首秀

CCTV5直播!国足热身“世界杯新贵”,15.9万人小国,邵佳一首秀

汪星人哟
2026-03-26 19:13:15
韩媒臆想:中国队欢呼吧,国际足联同意他们替补世界杯

韩媒臆想:中国队欢呼吧,国际足联同意他们替补世界杯

体坛风之子
2026-03-26 07:00:06
特朗普官宣最新登岛计划?精锐部队派兵被曝,美真实意图藏不住了

特朗普官宣最新登岛计划?精锐部队派兵被曝,美真实意图藏不住了

荐史
2026-03-26 19:15:24
RMC:塞内加尔仍将在对秘鲁的友谊赛赛前展示非洲杯冠军奖杯

RMC:塞内加尔仍将在对秘鲁的友谊赛赛前展示非洲杯冠军奖杯

懂球帝
2026-03-26 18:37:06
地铁出口A、B、C、D藏着方向规律,记住这套方法 全国出行不绕远路

地铁出口A、B、C、D藏着方向规律,记住这套方法 全国出行不绕远路

水泥土的搞笑
2026-03-17 13:38:42
“老人味”的祸首被揪出!医生提醒:55岁后要少碰,老了或也没味

“老人味”的祸首被揪出!医生提醒:55岁后要少碰,老了或也没味

今日养生之道
2026-03-23 11:46:39
中东突发!刚刚,直线拉升

中东突发!刚刚,直线拉升

中国基金报
2026-03-26 12:35:21
3月26日俄乌:乌克兰的猛烈回击

3月26日俄乌:乌克兰的猛烈回击

山河路口
2026-03-26 17:32:00
你知道我在床上有多厉害吗?

你知道我在床上有多厉害吗?

果粉之家
2026-03-20 12:35:16
中原消费金融为催收“买”借款人手机号码 三大运营商均中标 或涉买卖个人信息惹争议

中原消费金融为催收“买”借款人手机号码 三大运营商均中标 或涉买卖个人信息惹争议

信网
2026-03-26 19:12:37
油车车主“真情流露”:就算油价8块8,我也不想买电车!

油车车主“真情流露”:就算油价8块8,我也不想买电车!

少数派报告Report
2026-03-25 09:51:04
镇江一男子,被要挟曝光“不雅视频”!

镇江一男子,被要挟曝光“不雅视频”!

知扬中
2026-03-26 17:46:49
油价调整消息:今天3月26日,全国加油站调整后92、95汽油新售价

油价调整消息:今天3月26日,全国加油站调整后92、95汽油新售价

沙雕小琳琳
2026-03-26 10:31:28
登顶Top.1,HBO韩剧又爆了

登顶Top.1,HBO韩剧又爆了

来看美剧
2026-03-26 18:22:47
微信出现这条杠,你已经不是对方好友了

微信出现这条杠,你已经不是对方好友了

王二哥老搞笑
2026-03-21 07:36:51
苹果受追捧,国产手机涨价基本失败了,正在悄悄降价

苹果受追捧,国产手机涨价基本失败了,正在悄悄降价

柏铭锐谈
2026-03-24 15:38:55
A股:大盘精准跌到3889.08点,不出意外的话,接下来行情这么走!

A股:大盘精准跌到3889.08点,不出意外的话,接下来行情这么走!

夜深爱杂谈
2026-03-26 20:11:02
和讯投顾陆润凯:预期落地,明天的应对来了

和讯投顾陆润凯:预期落地,明天的应对来了

和讯网
2026-03-26 18:05:07
2026-03-26 21:04:49
华尔街见闻官方 incentive-icons
华尔街见闻官方
中国领先的金融商业信息提供商
143584文章数 2653027关注度
往期回顾 全部

科技要闻

Meta高管狂分百亿期权,700名员工却下岗

头条要闻

张雪峰留巨额遗产:二婚妻子或拿50% 剩下的女儿占1/3

头条要闻

张雪峰留巨额遗产:二婚妻子或拿50% 剩下的女儿占1/3

体育要闻

申京努力了,然而杜兰特啊

娱乐要闻

刘晓庆妹妹发声!称姐姐受身边人挑拨

财经要闻

油价"驯服"特朗普?一到100美元就TACO

汽车要闻

一汽奥迪A6L e-tron开启预售 CLTC最大续航815km

态度原创

数码
旅游
本地
亲子
教育

数码要闻

小米Book Pro 14超薄设计引爆市场!这家国产厂商立功了

旅游要闻

20元人民币背景观景台乱收费?景区通报:不存在封闭管控、强制收费等

本地新闻

救命,这只酱板鸭已经在我手机复仇了一万遍

亲子要闻

孩子模仿这种行为,容易被坏人盯上!

教育要闻

来上课了——高考阅读难题大综合(细节+主旨+含义)(下)第1段

无障碍浏览 进入关怀版