网易首页 > 网易科技 > IT业界 > 正文

别被误导 | 李飞飞团队用不到50美元训练出媲美DeepSeek R1的AI推理模型??

0
分享至

作者:张发恩 创新奇智CTO

转载自公众号:后向传播

最近一篇新闻标题《李飞飞团队用不到50美元训练出媲美DeepSeek R1的AI推理模型》吸引了不少眼球,似乎预示着AI技术即将迎来一场“廉价革命”。 不少人可能会惊呼:“什么?不到50美元就能训练出媲美DeepSeek Rl的AI模型?这AI也太便宜了吧!”

但,事实真的如此吗? 作为一名AI从业者,看到这个标题,我感觉事情并不简单。仔细研读新闻和相关论文后,我发现这篇新闻的解读存在不少夸大和误导之处。 我详细读了原论文,尽可能还原事实,避免大家被不实信息所误导。

“标题党”嫌疑:事实可能并非如此“美好”

1. “媲美DeepSeek R1”?实际效果可能与你的期待有差距

DeepSeek R1是DeepSeek公司推出的 闭源 大模型,而新闻中提到的 s1模型 , 实际上是与 OpenAI的o1-preview模型 以及 DeepSeek-R1 800K数据蒸馏出的32B模型 做对比。注:DeepSeek R1是670B的大模型,与DeepSeek-R1 800K数据蒸馏出的32B模型是完全不同的两个模型。

论文中的实验结果表明,s1模型在 部分 推理任务上(例如AIME24竞赛数学题)超过了o1-preview , 但这并不代表s1模型就 全面媲美 甚至 超越 了DeepSeek R1。更重要的是, s1的效果离DeepSeek-R1 800K数据蒸馏出的32B模型 还有不小的差距 。新闻标题用 “媲美DeepSeek Rl” 这样的字眼, 容易给读者造成 s1模型已经可以和DeepSeek的顶尖模型相提并论 的 错误印象 。下图是s1论文披露的实验数据(https://arxiv.org/pdf/2501.19393)

2. “不到50美元”?请注意限定语和实际成本

新闻中 “用不到50美元的云计算费用” 的说法, 容易让人误以为训练一个高性能AI推理模型只需要区区几十美元 。但实际上,这50美元仅仅是 指论文中s1模型在16张H100 GPU上训练26分钟的云计算费用 。

这 “不到50美元” 的成本, 仅仅是模型微调阶段的计算成本 ,并不包括 :

  • 前期数据收集和清洗成本
    为了构建高质量的1K训练数据集s1K,研究团队需要从59K原始数据集中进行筛选和标注,这其中投入的人力成本和时间成本远不止50美元 。
  • 预训练模型的成本
    s1模型是基于 Qwen2.5-32B-Instruct 这个 已经预训练好的大模型 进行微调的。 预训练大模型的成本是极其高昂的 ,动辄数百万美元甚至更高。新闻有意忽略了预训练阶段的巨大投入,只强调微调的低成本,有“避重就轻”之嫌 。

3. “训练出媲美...的AI推理模型”?数据筛选的功劳不可忽视

新闻标题容易让人觉得, 是李飞飞团队提出了一种 革命性的模型训练方法 ,才能用 “不到50美元” 训练出高性能模型。 但深入分析论文后, 我们发现 数据筛选 在 s1模型的成功中扮演了至关重要的角色。

s1模型的核心创新之一, 在于其构建的 高质量小样本数据集 s1K 。 研究团队并非随机使用1K数据进行训练, 而是从59K 数据集中 精心筛选 出1K 高质量样本。 筛选过程主要包括:

  • 质量筛选
    去除低质量、存在格式错误或 API 错误的数据。
  • 难度筛选
    去除 Qwen2.5-7B-Instruct 或 Qwen2.5-32B-Instruct 等模型能够轻松解答的简单问题。
  • 多样性筛选
    根据 MSC 分类系统对问题进行领域分类, 确保数据集涵盖不同领域的知识。

实验结果表明,使用精心筛选的1K 数据训练的模型,性能甚至可以媲美使用全量59K 数据训练的模型 ,远超 随机选择数据或仅考虑数据长度、多样性的方法。这说明,在数据驱动的AI领域,数据质量往往比数据数量更重要 。 s1模型的成功, 很大程度上归功于其高质量的数据筛选策略,而非仅仅是 “低成本” 训练 。

论文的创新之处:小样本高效微调 + 推理预算强制

当然, 这篇论文并非一无是处。 s1论文在以下方面还是有其创新性和贡献的 :

1. 验证了小样本高效微调的可行性

s1论文再次印证了 高质量小样本数据在模型微调中的巨大潜力 。 在算力成本高昂、 数据获取困难的背景下, 如何利用少量数据训练出高性能模型 一直是 AI 领域的研究热点。 s1论文提供了一个 利用数据筛选策略实现小样本高效微调 的成功案例, 为后续研究提供了有益的参考。 尤其值得肯定的是, 论文开源了高质量的 s1K 数据集 , 这将有助于推动小样本学习和推理相关领域的研究进展。

2. 提出 “推理预算强制” 方法, 探索推理过程干预

s1论文提出的 “推理预算强制 (Budget Forcing)” 方法,也为 模型推理过程的干预和调控 提供了一种新的思路。 通过 强制结束或延长模型的思考时间 , s1模型能够在推理过程中进行自我调整和优化 ,从而在一定程度上提升推理性能。 这种 在推理阶段对模型行为进行干预 的思想,具有一定的启发意义 ,未来或可应用于更多推理优化方法的研究中。

理性看待技术进步,“标题党”新闻对行业有害

总的来说,“李飞飞团队50美元AI模型” 这篇新闻标题存在夸大和误导之处 , 容易让读者对 AI 技术的现状产生不切实际的幻想。 s1模型 的成功, 是数据质量、 巧妙技术和现有预训练模型共同作用的结果, 并非 “廉价” 和 “速成” 的代名词 。

我们肯定 s1论文在小样本学习和推理干预方面 的探索和贡献 ,赞赏研究团队开源高质量数据集的举动 。但同时,我们必须保持清醒的认识 :

  • AI 技术的发展仍然面临诸多挑战
     “廉价” 和 “通用” 的 AI 模型离我们还很遥远 。
  • 数据质量是 AI 模型性能的关键
     “炼丹” 并非易事,需要精细的调参和优化 。
  • “标题党” 式新闻 为了博取眼球, 不惜夸大事实甚至歪曲真相
     容易误导公众,甚至对行业发展产生负面影响 。

作为AI从业者和爱好者,我们应该保持理性思考,客观看待技术进步,警惕 “标题党” 式新闻的危害,共同营造一个健康、理性的 AI 发展环境 。 脚踏实地,一步一个脚印,才是 AI 技术走向成熟的正确道路 。

延伸阅读
相关推荐
热点推荐
想钱想疯了!记者把燃气灶里的电池换成没电的,然后通过啄木鸟平台下单报修,结果5个师傅只有2个说了实话

想钱想疯了!记者把燃气灶里的电池换成没电的,然后通过啄木鸟平台下单报修,结果5个师傅只有2个说了实话

扶苏聊历史
2026-11-12 16:31:35
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
央视点名批评的6部烂剧,侮辱观众智商,没看完就弃了

央视点名批评的6部烂剧,侮辱观众智商,没看完就弃了

小Q侃电影
2026-11-16 22:07:13
老了才明白:最傻的父母,攥着大把存款和退休金,等给儿女当遗产

老了才明白:最傻的父母,攥着大把存款和退休金,等给儿女当遗产

风起见你
2026-11-11 17:04:28
别买,全是假的,又一产品大翻车,成本只有10元,很多人长期上当

别买,全是假的,又一产品大翻车,成本只有10元,很多人长期上当

荆头条
2026-11-16 07:55:48
绝不允许资本乱国,毛主席定下的铁律,关乎国家生死存亡

绝不允许资本乱国,毛主席定下的铁律,关乎国家生死存亡

王嚾晓
2026-11-16 23:09:27
真的有命数吗?网友:玄学有时候真的不得不信

真的有命数吗?网友:玄学有时候真的不得不信

康富贵碎碎念
2026-11-15 14:35:16
评论员:让佩德里踢前腰是错失的,他在国家队就是替补

评论员:让佩德里踢前腰是错失的,他在国家队就是替补

懂球帝
2026-11-16 05:29:05
西班牙2-3英格兰,赛后评分:不是贝林厄姆第1,西班牙10号第1

西班牙2-3英格兰,赛后评分:不是贝林厄姆第1,西班牙10号第1

侧身凌空斩
2026-11-16 05:48:00
叶剑英晚年留下评价:行军打仗粟裕和刘伯承本领都优秀,可能同时让林彪、张国焘和彭德怀佩服的却只有一个人

叶剑英晚年留下评价:行军打仗粟裕和刘伯承本领都优秀,可能同时让林彪、张国焘和彭德怀佩服的却只有一个人

唠叨说历史
2026-11-11 14:27:26
德转:罗纳尔迪尼奥拉文纳首秀,成为意丙历史身价最高球员

德转:罗纳尔迪尼奥拉文纳首秀,成为意丙历史身价最高球员

懂球帝
2026-11-16 18:32:05
朴树得病很多年了!

朴树得病很多年了!

八卦疯叔
2026-11-16 10:00:58
中央气象台:今晚到明晚,陕西、内蒙古、辽宁等地有中到大雪或雨夹雪,甘肃、吉林等地有暴雪;贵州、湖南、江西、广西、广东等有中到大雨

中央气象台:今晚到明晚,陕西、内蒙古、辽宁等地有中到大雪或雨夹雪,甘肃、吉林等地有暴雪;贵州、湖南、江西、广西、广东等有中到大雨

大风新闻
2026-11-16 18:13:02
袁大头一共铸造了10亿枚,如今只剩不到1亿,那9亿枚都去哪了?

袁大头一共铸造了10亿枚,如今只剩不到1亿,那9亿枚都去哪了?

文史达观
2026-11-15 22:11:09
反噬说来就来!中国芯片厂明确拒绝拆分,荷兰转而要谈公平补偿?晚了

反噬说来就来!中国芯片厂明确拒绝拆分,荷兰转而要谈公平补偿?晚了

互联鱼
2026-11-16 00:15:08
退休金拿到这个数就算知足,80%老人达不到,看看你够吗

退休金拿到这个数就算知足,80%老人达不到,看看你够吗

小影的娱乐
2026-11-15 06:57:51
月薪五万是什么体验?

月薪五万是什么体验?

康富贵碎碎念
2026-11-16 13:15:52
1600万粉丝网红发避雷视频,阿那亚反应迅速,相关门店已停业

1600万粉丝网红发避雷视频,阿那亚反应迅速,相关门店已停业

宝哥精彩赛事
2026-11-16 16:22:12
地下捐精有多乱!女的被约到宾馆,捐精者:直接怀孕只收800元

地下捐精有多乱!女的被约到宾馆,捐精者:直接怀孕只收800元

芊芊子吟
2026-11-10 07:05:06
河南“三支一扶”考试作弊案告破:考试,容不得半点“歪门邪道”

河南“三支一扶”考试作弊案告破:考试,容不得半点“歪门邪道”

呼呼历史论
2026-11-16 04:41:01
2026-11-16 23:48:49

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

本地
时尚
教育
健康
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

自骂“烂人”的黄仁勋,冤不冤?

教育要闻

从科技救国到科技强国: 成都二中对时代战略、城市发展、教育归真的三重作答

情绪真能让健康人"伤心至死"?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版
×