网易首页 > 网易号 > 正文 申请入驻

现有路径不通?OpenAI、亚马逊考虑改变大模型训练方式

0
分享至

随着人工智能领域竞争进入深水区,行业顶尖研究人员正对现有的模型训练范式提出质疑。

来自OpenAI、Thinking Machines Lab以及亚马逊的研究人员正在探讨一种根本性的转变:放弃目前通用的“先预训练、后后训练”的标准流程,转而采用针对特定任务更早引入精选数据的训练模式,以解决现有模型的效率低下和“裂脑问题”等缺陷。

这一潜在的转变由亚马逊的David Luan等人大力倡导。其核心观点在于,目前的通用训练路径——即先赋予模型广泛的世界知识(如诗歌或园艺),再针对特定任务(如代码编写或客户退款)进行微调——在逻辑上并不总是合理的。研究人员认为,如果模型的最终用途已经确定,那么在预训练阶段就应引入与任务高度相关的精选数据,从而更直接地为最终目标服务。

这种方法论的调整若付诸实践,将深刻改变AI行业的开发格局。这不仅意味着开发团队可能不再需要按照预训练和后后训练进行人为分割,更预示着市场将从“一个通用模型适应所有场景”走向“基于不同数据集构建专用模型”的时代。这种转变将迫使开发者在训练初期就对数据进行更严格的筛选,从而决定模型在特定领域的专长与短板。

市场已经出现了这种分化的迹象。OpenAI目前正通过路由器将ChatGPT的查询分流至不同模型处理,并开发了如GPT-5-Codex等专用模型。这种策略反映出消费者对简单聊天机器人的需求,与公司追求超级智能、科学研究(如火星殖民或疾病治疗)等高端目标之间存在巨大差异。若进一步深化这一路线,OpenAI可能需要彻底重组其研究团队以适应完全不同的模型训练需求。

重塑训练逻辑:摒弃通用冗余

目前的AI训练规范在某种程度上模仿了人类的学习过程,即在童年时期积累广泛的基础知识,随后学习特定技能。然而,行业内部开始反思这一流程的效率。David Luan指出,对于一个旨在处理代码或客户服务的模型而言,花费大量算力去学习完全不相关的领域(如诗歌或园艺)是一种资源浪费。

这种“广撒网”式的预训练虽然直观,但也导致了诸如“裂脑问题”等技术瓶颈,即模型可能仅因提问方式的不同而给出错误的答案。新的思路主张将预训练过程用于接触与既定任务更相关的精选数据。OpenAI和Thinking Machines Lab的研究人员对此表示认同,部分人士甚至建议取消不同训练阶段的独立团队,将人员整合为一个统一的训练团队,以提高针对性。

专用模型崛起与组织重构

这一变革将对AI模型的最终形态产生深远影响。研究人员必须在训练早期就决定纳入哪些数据,这将直接决定模型的能力边界。例如,在早期训练中增加数学和代码数据而减少散文数据,可能会造就一个卓越的编程助手,但牺牲其在创意写作或与用户情感交流方面的能力。

这将导致未来AI市场不再依赖于对同一个预训练模型进行后期修补,而是涌现出大量基于不同基础数据集训练的专用模型。据OpenAI内部情况,公司已经意识到这种需求分化。一方面是消费者希望ChatGPT回答简单问题并充当聊天伙伴,另一方面是公司致力于推理模型和超级智能的前沿研究

。目前,OpenAI虽然所有模型仍基于同一预训练模型,但已通过路由技术和特定版本(如GPT-5-Codex)来应对这种复杂性。如果未来转向为不同目的训练完全独立的模型,将要求公司对研究团队进行彻底的重组。

硬件突破与资本押注

在软件训练模式酝酿变革的同时,硬件领域的创新也在加速,资本正密切关注能提升能效的新技术。光子芯片初创公司Neurophos刚刚完成了由比尔·盖茨旗下的Gates Frontier领投的1.1亿美元A轮融资,微软旗下的风险投资公司M12也参与其中。

Neurophos致力于设计利用光而非电子进行AI数学运算的芯片。据该公司联合创始人兼CEO Patrick Bowen介绍,其目标是在2028年交付一款芯片,其速度和效率将是英伟达Blackwell芯片的50倍。微软高管Marc Tremblay表示,现代AI推理对电力和算力的需求巨大,行业需要计算层面的突破。

与此同时,OpenAI也在加强自身的基础设施建设。OpenAI首席财务官Sarah Friar在世界经济论坛上透露,该公司的定制推理芯片正在进行“流片”,即制造前的最后一步。她还表示,去年宣布的价值超过5000亿美元的Stargate基础设施项目已建成过半,且“进展超乎想象”,公司已在甲骨文的Stargate园区服务器上训练模型。

行业整合与竞争动态

AI领域的并购与融资活动持续活跃。据The Information数据,旨在定制AI模型的软件公司Lightning AI与数据中心提供商Voltage Park合并,新公司估值超过25亿美元。此外,Yelp同意以3亿美元收购AI代理初创公司Hatch。谷歌DeepMind则通过许可协议聘请了语音AI初创公司Hume AI的CEO及多位顶尖工程师。

在巨头动向方面,据彭博报道,苹果正与谷歌谈判,计划利用其云基础设施及TPU芯片来推出更新版的Siri,并计划最早于2027年推出AI驱动的可穿戴设备。英伟达CEO黄仁勋据报正准备前往中国,试图在这个战略市场重新站稳脚跟。

在监管与伦理层面,Anthropic发布了Claude的新版“宪法”,相比2023年的初版,新文件减少了指令性,给予模型更多判断空间,并罕见地提及了模型可能具有某种“意识”或“道德地位”的可能性。白宫经济顾问委员会则发布报告预测,生成式AI将引发美国经济的深刻转型,有望显著提振生产力和增长。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
重磅!带薪年假条例20年首次大修,天数或增加,落实机制全面升级

重磅!带薪年假条例20年首次大修,天数或增加,落实机制全面升级

鲸探所长
2026-01-29 19:48:42
APEC进入“中国时间” ,广州全方位保障迎亚太宾朋

APEC进入“中国时间” ,广州全方位保障迎亚太宾朋

新快报新闻
2026-01-29 23:27:06
骑士队的泰森在宣布克利夫兰现在是米切尔的城市后,向詹姆斯道歉

骑士队的泰森在宣布克利夫兰现在是米切尔的城市后,向詹姆斯道歉

好火子
2026-01-30 05:38:52
西部排名又变了:湖人爆冷惨败,快船双喜临门,2队排名互换

西部排名又变了:湖人爆冷惨败,快船双喜临门,2队排名互换

篮球大视野
2026-01-29 15:31:48
仅此1人 38岁前国脚2次入禁足名单 从5年到终身 曾获赞“小梅西”

仅此1人 38岁前国脚2次入禁足名单 从5年到终身 曾获赞“小梅西”

我爱英超
2026-01-29 18:29:20
0-3脆败!张本智和彻底被打服,接连遭碾压输光底气,日媒哀叹:他遇到天敌了!

0-3脆败!张本智和彻底被打服,接连遭碾压输光底气,日媒哀叹:他遇到天敌了!

去山野间追风
2026-01-30 02:25:27
宋承良:怎么没广州队的处罚?他们的冠军是不是应该被剥夺

宋承良:怎么没广州队的处罚?他们的冠军是不是应该被剥夺

懂球帝
2026-01-29 18:52:58
49条航线熔断仅一天,中方罕见升级警告

49条航线熔断仅一天,中方罕见升级警告

斜烟风起雨未
2026-01-30 03:31:09
杨紫又“变脸”了,33岁还像18岁?她把自己整得没人认得出!

杨紫又“变脸”了,33岁还像18岁?她把自己整得没人认得出!

乐悠悠娱乐
2026-01-29 09:44:50
中国3大通血管食物,芹菜排第3,第1名家家常备,可很多人不爱吃

中国3大通血管食物,芹菜排第3,第1名家家常备,可很多人不爱吃

江江食研社
2026-01-26 07:30:06
北京奥运会冠军陈燮霞:靠作弊获得金牌,被查后如今销声匿迹

北京奥运会冠军陈燮霞:靠作弊获得金牌,被查后如今销声匿迹

谢葥邮轮摄影
2026-01-26 15:23:05
热搜上“女儿洗头后最恐怖的一幕”:“皇帝瘾”型父母,逼疯孩子

热搜上“女儿洗头后最恐怖的一幕”:“皇帝瘾”型父母,逼疯孩子

小椰子专栏
2026-01-29 13:06:13
最高降4000元!华为加入春节促销大战,苹果三星先行,小米VIVO暂未跟进

最高降4000元!华为加入春节促销大战,苹果三星先行,小米VIVO暂未跟进

上游新闻
2026-01-29 20:42:09
东西城这些片区腾退,今年将有大动作?

东西城这些片区腾退,今年将有大动作?

家住东西城
2026-01-29 22:08:01
央视这波选剧真是绝了!整部剧均是整容脸,能看下去的都是能人!

央视这波选剧真是绝了!整部剧均是整容脸,能看下去的都是能人!

草莓解说体育
2026-01-30 05:26:51
还差67席,高市流泪求支持,第一继任者呼之欲出,中国收重大信号

还差67席,高市流泪求支持,第一继任者呼之欲出,中国收重大信号

阿伧说事
2026-01-29 16:09:02
蒙古为何成为韩国老男人的圣地?带你去瞧瞧这个可悲的国家

蒙古为何成为韩国老男人的圣地?带你去瞧瞧这个可悲的国家

吕醿极限手工
2025-12-29 18:33:00
中英谈妥了,斯塔默告别人民大会堂,临走前通告北京,和港台有关

中英谈妥了,斯塔默告别人民大会堂,临走前通告北京,和港台有关

天气观察站
2026-01-30 02:53:40
曝贝克汉姆与维多利亚下最后通牒:布鲁克林不离婚,就别再回家!

曝贝克汉姆与维多利亚下最后通牒:布鲁克林不离婚,就别再回家!

可乐谈情感
2026-01-30 01:58:55
1月23日深夜!解放军上将在京逝世:曾扳倒谷俊山,胞弟身份曝光

1月23日深夜!解放军上将在京逝世:曾扳倒谷俊山,胞弟身份曝光

博士观察
2026-01-28 19:16:28
2026-01-30 06:20:50
华尔街见闻官方 incentive-icons
华尔街见闻官方
中国领先的金融商业信息提供商
140947文章数 2652348关注度
往期回顾 全部

科技要闻

周亚辉的AI新赌局:国内太卷 出海另起炉灶

头条要闻

金晨被指肇事逃逸让助理顶包 律师:顶包者或被判刑

头条要闻

金晨被指肇事逃逸让助理顶包 律师:顶包者或被判刑

体育要闻

詹姆斯哭了!骑士视频致敬41岁超巨

娱乐要闻

曝金晨涉嫌交通肇事逃逸 本人尚未回应

财经要闻

崔东树:中国汽车未来年销或达5000万辆

汽车要闻

车长超5米还带后轮转向 比亚迪海豹08/海狮08将亮相

态度原创

房产
家居
艺术
亲子
游戏

房产要闻

寰岛学校卖楼,二次流拍!

家居要闻

极简轻奢 家的无限可能

艺术要闻

广州这座“寿桃花”建筑,让王健林掏了1个亿!

亲子要闻

严格婴幼儿配方液态乳生产许可条件 市场监管总局发布审查细则

PS6手柄迎巨变?新专利曝光:实体按键将全部取消!

无障碍浏览 进入关怀版