网易首页 > 网易号 > 正文 申请入驻

新闻分析|全球科研团队竞逐低成本AI模型研发新范式

0
分享至

  新华社北京2月23日电 新闻分析|全球科研团队竞逐低成本AI模型研发新范式
  新华社记者彭茜
  美国斯坦福大学等机构研究团队近日宣布,在基座大模型基础上,仅耗费数十美元就开发出相对成熟的推理模型。尽管其整体性能尚无法比肩美国开放人工智能研究中心(OpenAI)开发的o1、中国深度求索公司的DeepSeek-R1等,但此类尝试意味着企业可以较低成本研发出适合自身的AI应用,AI普惠性有望增强。同时,其所应用的“测试时扩展”技术或代表一条更可持续的AI研发路径。

      低成本玩转高级推理

  美国斯坦福大学和华盛顿大学研究团队近日宣布研发出名为s1的模型,在衡量数学和编码能力的测试中,可媲美o1和DeepSeek-R1等。研究团队称,训练租用所需的计算资源等成本只需约几十美元。
  s1的核心创新在于采用了“知识蒸馏”技术和“预算强制”方法。“知识蒸馏”好比把别人酿好的酒进一步提纯。该模型训练数据是基于谷歌Gemini Thinking Experimental模型“蒸馏”出的仅有1000个样本的小型数据集。
  “预算强制”则使用了AI模型训练新方法——“测试时扩展”的实现方式。“测试时扩展”又称“深度思考”,核心是在模型测试阶段,通过调整计算资源分配,使模型更深入思考问题,提高推理能力和准确性。
  “预算强制”通过强制提前结束或延长模型的思考过程,来影响模型的推理深度和最终答案。s1对阿里云的通义千问开源模型进行微调,通过“预算强制”控制训练后的模型计算量,使用16个英伟达H100 GPU仅进行26分钟训练便达成目标。
  美国加利福尼亚大学伯克利分校研究团队最近也开发出一款名为TinyZero的精简AI模型,称复刻了DeepSeek-R1 Zero在倒计时和乘法任务中的表现。该模型通过强化学习,实现了部分相当于30亿模型参数的大语言模型的自我思维验证和搜索能力。团队称项目训练成本不到30美元。

      “二次创造”增强AI普惠性

  清华大学计算机系长聘副教授刘知远接受记者采访时说,部分海外研究团队使用DeepSeek-R1、o1等高性能推理大模型来构建、筛选高质量长思维链数据集,再用这些数据集微调模型,可低成本快速获得高阶推理能力。
  相关专家认为,这是AI研发的有益尝试,以“二次创造”方式构建模型增强了AI普惠性。但有三点值得注意:
  首先,所谓“几十美元的低成本”,并未纳入开发基座大模型的高昂成本。这就好比盖房子,只算了最后装修的钱,却没算买地、打地基的钱。AI智库“快思慢想研究院”院长田丰告诉记者,几十美元成本只是最后一个环节的算力成本,并未计算基座模型的预训练成本、数据采集加工成本。
  其次,“二次创造”构建的模型,整体性能尚无法比肩成熟大模型。TinyZero仅在简单数学任务、编程及数学益智游戏等特定任务中有良好表现,但无法适用于更复杂、多样化的任务场景。而s1模型也只能通过精心挑选的训练数据,在特定测试集上超过早期版本o1 preview,而远未超过o1正式版或DeepSeek-R1。
  最后,开发性能更优越的大模型,仍需强化学习技术。刘知远说,就推动大模型能力边界而言,“知识蒸馏”技术意义不大,未来仍需探索大规模强化学习技术,以持续激发大模型在思考、反思、探索等方面的能力。

      AI模型未来如何进化

  在2025年美国消费电子展上,美国英伟达公司高管为AI的进化勾画了一条路线图:以智能水平为纵轴、以计算量为横轴,衡量AI模型的“规模定律”呈现从“预训练扩展”、到“训练后扩展”,再到“测试时扩展”的演进。
  “预训练扩展”堪称“大力出奇迹”——训练数据越多、模型规模越大、投入算力越多,最终得到AI模型的能力就越强。目标是构建一个通用语言模型,以GPT早期模型为代表。而“训练后扩展”涉及强化学习和人类反馈等技术,是预训练模型的“进化”,优化其在特定领域的任务表现。
  随着“预训练扩展”和“训练后扩展”边际收益逐渐递减,“测试时扩展”技术兴起。田丰说,“测试时扩展”的核心在于将焦点从训练阶段转移到推理阶段,通过动态控制推理过程中的计算量(如思考步长、迭代次数)来优化结果。这一方法不仅降低了对预训练数据的依赖,还显著提升了模型潜力。
  三者在资源分配和应用场景上各有千秋。预训练像是让AI模型去学校学习基础知识,而后训练则是让模型掌握特定工作技能,如医疗、法律等专业领域。“测试时扩展”则赋予了模型更强推理能力。
  AI模型的迭代还存在类似摩尔定律的现象,即能力密度随时间呈指数级增强。刘知远说,2023年以来,大模型能力密度大约每100天翻一番,即每过100天,只需要一半算力和参数就能实现相同能力。未来应继续推进计算系统智能化,不断追求更高能力密度,以更低成本,实现大模型高效发展。(完)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
8吨中国广式腊肠在新西兰被扣!手续齐全,却被要求销毁

8吨中国广式腊肠在新西兰被扣!手续齐全,却被要求销毁

发现新西兰
2026-11-20 12:03:04
天冷,也阻挡不了我穿丝袜的热情

天冷,也阻挡不了我穿丝袜的热情

疾跑的小蜗牛
2026-11-21 20:44:46
一手好牌打稀烂!歌坛天后跟“活佛”生下孩子?如今现状令人唏嘘

一手好牌打稀烂!歌坛天后跟“活佛”生下孩子?如今现状令人唏嘘

草莓解说体育
2026-11-21 10:38:24
1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

磊子讲史
2026-11-04 15:53:33
小米269元新品开售:1.77英寸+2190mAh

小米269元新品开售:1.77英寸+2190mAh

全是技能
2026-11-20 12:08:45
山西运城一业主因家里暖气不热给暖气片排气,结果水流瞬间喷涌而出;妻子:暖气上阀门生锈,幸好丈夫几秒内关住总阀门,未造成损失

山西运城一业主因家里暖气不热给暖气片排气,结果水流瞬间喷涌而出;妻子:暖气上阀门生锈,幸好丈夫几秒内关住总阀门,未造成损失

台州交通广播
2026-11-21 06:50:31
张本智和父亲勇敢发声!入日籍没错,否则儿女在中国无出头之日

张本智和父亲勇敢发声!入日籍没错,否则儿女在中国无出头之日

小鋭有话说
2026-10-18 13:11:03
A股:紧急提醒2.5亿股民!纳指重挫1261点,A股可能重演C浪调整吗?

A股:紧急提醒2.5亿股民!纳指重挫1261点,A股可能重演C浪调整吗?

趋势清风侠
2026-11-21 21:30:15
官方:中国球员肖金才加盟白俄罗斯超球队贝尔希纳俱乐部

官方:中国球员肖金才加盟白俄罗斯超球队贝尔希纳俱乐部

懂球帝
2026-11-21 19:38:08
456跟大佬玩欲擒故纵!

456跟大佬玩欲擒故纵!

八卦疯叔
2026-11-21 10:44:23
新一代三菱帕杰罗日本上市 2.4T柴油大梁四驱 预购量超标

新一代三菱帕杰罗日本上市 2.4T柴油大梁四驱 预购量超标

华庭讲美食
2026-11-21 03:09:19
韩国“满分学霸”被举报用AI作弊后身亡,生前最后画面曝光:独自在街头边走边回头看

韩国“满分学霸”被举报用AI作弊后身亡,生前最后画面曝光:独自在街头边走边回头看

蓬勃新闻
2026-11-20 10:21:12
勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

冷月小风风
2026-11-21 11:05:13
金价跌破760元/克:有人花85万元一次入手11根金条,有人高位囤金“扛着”

金价跌破760元/克:有人花85万元一次入手11根金条,有人高位囤金“扛着”

民生故事会
2026-11-21 14:11:17
与朱芳雨离婚后,她带小儿子独自生活,如今在中山大学任教未再婚

与朱芳雨离婚后,她带小儿子独自生活,如今在中山大学任教未再婚

东方不败然多多
2026-11-21 11:16:33
奉劝所有中国人,做好心理准备,因为不寻常的一幕即将到来!

奉劝所有中国人,做好心理准备,因为不寻常的一幕即将到来!

果妈聊娱乐
2026-11-20 15:17:13
糟了!AMD的苏姿丰也“出事”了……

糟了!AMD的苏姿丰也“出事”了……

留学生日报
2026-11-21 09:34:38
北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

一刀故事
2025-05-14 13:32:29
2027 运势红火发紫!三大生肖无灾无难“横财入账”,越活越有钱

2027 运势红火发紫!三大生肖无灾无难“横财入账”,越活越有钱

毅谈生肖
2026-11-21 10:47:39
多国首脑在深圳闲逛,每个人路线都很有意思,普京发出了内心所想

多国首脑在深圳闲逛,每个人路线都很有意思,普京发出了内心所想

讲者普拉斯
2026-11-20 11:58:25
2026-11-21 23:19:00
新华社 incentive-icons
新华社
新华社是国家通讯社
731355文章数 2441505关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
健康
艺术
教育
军事航空

旅游要闻

广西南宁:冬日繁花似锦

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版