网易首页 > 网易号 > 正文 申请入驻

全球掀DeepSeek复现狂潮!硅谷巨头神话崩塌,30刀见证啊哈时刻

0
分享至


新智元报道

编辑:编辑部 HYZ

【新智元导读】就在刚刚,网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现,只用强化学习,没有监督微调,30美元就能见证「啊哈时刻」!全球AI大模型,或许正在进入下一分水岭。

这些天,硅谷彻底处于中国公司带来的大地震余波中。

全美都在恐慌:是否全球人工智能的中心已经转移到了中国?

就在这当口,全球复现DeepSeek的一波狂潮也来了。

诚如LeCun所言:「这一次,正是开源对闭源的胜利!」


在没有顶级芯片的情况下,以极低成本芯片训出突破性模型的DeepSeek,或将威胁到美国的AI霸权。 大模型比拼的不再是动辄千万亿美元的算力战。 OpenAI、Meta、谷歌这些大公司引以为傲的技术优势和高估值将会瓦解,英伟达的股价将开始动摇。

种种这些观点和讨论,让人不禁怀疑:数百亿美元支出,对这个行业真的必要吗?甚至有人说,中国量化基金的一群天才,将导致纳斯达克崩盘。

从此,大模型时代很可能会进入一个分水岭:超强性能的模型不再独属于算力巨头,而是属于每个人。

30美金,就能看到「啊哈」时刻

来自UC伯克利博士生潘家怡和另两位研究人员,在CountDown游戏中复现了DeepSeek R1-Zero。

他们表示,结果相当出色!

实验中,团队验证了通过强化学习RL,3B的基础语言模型也能够自我验证和搜索。

更令人兴奋的是,成本不到30美金(约217元),就可以亲眼见证「啊哈」时刻。


这个项目叫做TinyZero,采用了R1-Zero算法——给定一个基础语言模型、提示和真实奖励信号,运行强化学习。

然后,团队将其应用在CountDown游戏中(这是一个玩家使用基础算术运算,将数字组合以达到目标数字的游戏)。

模型从最初的简单输出开始,逐步进化出自我纠正和搜索的策略。

在以下示例中,模型提出了解决方案,自我验证,并反复纠正,直到解决问题为止。


在消融实验中,研究人员运行了Qwen-2.5-Base(0.5B、1.5B、3B、7B四种参数规模)。

结果发现,0.5B模型仅仅是猜测一个解决方案然后停止。而从1.5B开始,模型学会了搜索、自我验证和修正其解决方案,从而能够获得更高的分数。

他们认为,在这个过程,基础模型的是性能的关键。


他们还验证了,额外的指令微调(SFT)并非是必要的,这也印证了R1-Zero的设计决策。


这是首个验证LLM推理能力的实现可以纯粹通过RL,无需监督微调的开源研究

基础模型和指令模型两者区别:

  • 指令模型运行速度快,但最终表现与基础模型相当

  • 指令输出的模型更具结构性和可读性


此外,他们还发现,具体的RL算法并不重要。PPO、GRPO、PRIME这些算法中,长思维链(Long CoT)都能够涌现,且带来不错的性能表现。


而且,模型在推理行为中非常依赖于具体的任务:

  • 对于Countdow任务,模型学习进行搜索和自我验证

  • 对于数字乘法任务,模型反而学习使用分布规则分解问题,并逐步解决


苹果机器学习科学家Yizhe Zhang对此表示,太酷了,小到1.5B的模型,也能通过RL涌现出自我验证的能力。


7B模型复刻,结果令人惊讶

港科大助理教授何俊贤的团队(共同一作黄裕振、Weihao Zeng),只用了8K个样本,就在7B模型上复刻出了DeepSeek-R1-Zero和DeepSeek-R1的训练。

结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。



项目地址:https://github.com/hkust-nlp/simpleRL-reason

他们以Qwen2.5-Math-7B(基础模型)为起点,直接对其进行强化学习。

整个过程中,没有进行监督微调(SFT),也没有使用奖励模型。

最终,模型在AIME基准上实现了33.3%的准确率,在AMC上为62.5%,在MATH上为77.2%。

这一表现不仅超越了Qwen2.5-Math-7B-Instruct,并且还可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美!



其中,Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的,仅采用了MATH数据集中的8K样本。

Qwen2.5-7B-SimpleRL则首先通过Long CoT监督微调(SFT)作为冷启动,然后再进行强化学习。

在这两种方法中,团队都只使用了相同的8K MATH样本,仅此而已。

大概在第44步的时候,「啊哈时刻」出现了!模型的响应中,出现了自我反思。


并且,在这个过程中,模型还显现了更长的CoT推理能力和自我反思能力。


在博客中,研究者详细剖析了实验设置,以及在这个强化学习训练过程中所观察到的现象,例如长链式思考(CoT)和自我反思机制的自发形成。

与DeepSeek R1类似,研究者的强化学习方案极其简单,没有使用奖励模型或MCTS(蒙特卡洛树搜索)类技术。

他们使用的是PPO算法,并采用基于规则的奖励函数,根据生成输出的格式和正确性分配奖励:

  • 如果输出以指定格式提供最终答案且正确,获得+1的奖励

  • 如果输出提供最终答案但不正确,奖励设为-0.5

  • 如果输出未能提供最终答案,奖励设为-1

该实现基于OpenRLHF。初步试验表明,这个奖励函数有助于策略模型快速收敛,产生符合期望格式的输出。

第一部分:SimpleRL-Zero(从头开始的强化学习)

接下来,研究者为我们分享了训练过程动态分析和一些有趣的涌现模式。

训练过程动态分析

如下所示,所有基准测试的准确率在训练过程中都在稳步提高,而输出长度则呈现先减少后逐渐增加的趋势。

经过进一步调查,研究者发现,Qwen2.5-Math-7B基础模型在初始阶段倾向于生成大量代码,这可能源于模型原始训练数据的分布特征。

输出长度的首次下降,是因为强化学习训练逐渐消除了这种代码生成模式,转而学会使用自然语言进行推理。

随后,生成长度开始再次增加,此时出现了自我反思机制。


训练奖励和输出长度


基准测试准确率(pass@1)和输出长度


自我反思机制的涌现

在训练到第 40 步左右时,研究者观察到:模型开始形成自我反思模式,这正是DeepSeek-R1论文中所描述的「aha moment」(顿悟时刻)。


第二部分:SimpleRL(基于模仿预热的强化学习)

如前所述,研究者在进行强化学习之前,先进行了long CoT SFT预热,使用了8,000个从QwQ-32B-Preview中提取的MATH示例响应作为SFT数据集。

这种冷启动的潜在优势在于:模型在开始强化学习时已具备long CoT思维模式和自我反思能力,从而可能在强化学习阶段实现更快更好的学习效果。


与RL训练前的模型(Qwen2.5-Math-7B-Base + 8K QwQ知识蒸馏版本)相比,Qwen2.5-7B-SimpleRL的平均性能显著提升了6.9个百分点。

此外,Qwen2.5-7B-SimpleRL不仅持续优于Eurus-2-7B-PRIME,还在5个基准测试中的3个上超越了Qwen2.5-7B-SimpleRL-Zero。

训练过程分析


训练奖励和输出长度


基准测试准确率(pass@1)和输出长度

Qwen2.5-SimpleRL的训练动态表现与Qwen2.5-SimpleRL-Zero相似。

有趣的是,尽管研究者先进行了long CoT SFT,但在强化学习初期仍然观察到输出长度减少的现象。

他们推测,这可能是因为从QwQ提取的推理模式不适合小型策略模型,或超出了其能力范围。

因此,模型选择放弃这种模式,转而自主发展新的长链式推理方式。

最后,研究者用达芬奇的一句话,对这项研究做了总结——

简约,便是最终极的精致。


完全开源复刻,HuggingFace下场了

甚至,就连全球最大开源平台HuggingFace团队,今天官宣复刻DeepSeek R1所有pipeline。

复刻完成后,所有的训练数据、训练脚本等等,将全部开源。


这个项目叫做Open R1,当前还在进行中。发布到一天,星标冲破1.9k,斩获142个fork。


项目地址:https://github.com/huggingface/open-r1

研究团队以DeepSeek-R1技术报告为指导,将整个复刻过程划分为三个关键步骤。

  • 步骤 1:通过从DeepSeek-R1蒸馏高质量语料库,复现R1-Distill模型。

  • 步骤 2:复现DeepSeek用于创建R1-Zero的纯强化学习(RL)流程。这可能需要为数学、推理和代码任务策划新的大规模数据集。

  • 步骤 3:展示我们如何通过多阶段训练,从基础模型发展到经过RL调优的模型。


从斯坦福到MIT,R1成为首选

一个副业项目,让全世界科技大厂为之惶恐。

DeepSeek这波成功,也成为业界的神话,网友最新截图显示,这款应用已经在APP Store「效率」应用榜单中挤进前三。


在Hugging Face中,R1下载量直接登顶,另外3个模型也霸占着热榜。


a16z合伙人Anjney Midha称,一夜之间,从斯坦福到MIT,DeepSeek R1已经成为美国顶尖高校研究人员「首选模型」。


还有研究人员表示,DeepSeek基本上取代了我用ChatGPT的需求。


中国AI,这一次真的震撼了世界。

参考资料:

https://x.com/junxian_he/status/1883183099787571519

https://x.com/jiayi_pirate/status/1882839370505621655

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
让你“老得慢”的9个好习惯,可惜能坚持下来的人不多!

让你“老得慢”的9个好习惯,可惜能坚持下来的人不多!

荷兰豆爱健康
2025-02-08 10:24:37
北青:U20亚洲杯揭幕战中国vs卡塔尔已经售出4000张票

北青:U20亚洲杯揭幕战中国vs卡塔尔已经售出4000张票

懂球帝
2025-02-10 16:40:17
闹大了!年租金80万的阳江服务区汽修店坑了多少人?互联网有记忆

闹大了!年租金80万的阳江服务区汽修店坑了多少人?互联网有记忆

小人物看尽人间百态
2025-02-09 22:26:55
全红婵回北京训练被偶遇,一路小跑赶时间,挎万元LV包被网友吐槽

全红婵回北京训练被偶遇,一路小跑赶时间,挎万元LV包被网友吐槽

南城无双
2025-02-10 12:24:44
麻六记员工:谁也别想砸我饭碗,您不在,我们上!花式直播人气旺

麻六记员工:谁也别想砸我饭碗,您不在,我们上!花式直播人气旺

阿伧说事
2025-02-10 17:01:17
林丹送8岁儿子西班牙学网球,谢杏芳和婆婆陪读,住大别墅很享受

林丹送8岁儿子西班牙学网球,谢杏芳和婆婆陪读,住大别墅很享受

郑丁嘉话
2025-02-10 10:20:09
普京下令打击不友好国家电信诈骗

普京下令打击不友好国家电信诈骗

参考消息
2025-02-09 16:32:07
惊人的慢马定律:长大后有出息的孩子,是被母亲“重用”的人

惊人的慢马定律:长大后有出息的孩子,是被母亲“重用”的人

布衣粗食68
2025-02-09 14:21:32
停火日期公布,普京的要求被全部满足,特朗普给乌最后一次机会

停火日期公布,普京的要求被全部满足,特朗普给乌最后一次机会

娱乐的宅急便
2025-02-10 16:26:16
网友:整整18年的压岁钱,一个红包都没拆,这妈妈真的太了不起了

网友:整整18年的压岁钱,一个红包都没拆,这妈妈真的太了不起了

火山诗话
2025-02-09 17:45:04
刘翔过丈母娘家!身价10亿元,退役9年吃喝玩乐,二婚8年膝下无子

刘翔过丈母娘家!身价10亿元,退役9年吃喝玩乐,二婚8年膝下无子

小彭美识
2025-02-08 12:35:01
好家伙!假如《哪吒》出真人版,网友推荐演员适配度也太高了!

好家伙!假如《哪吒》出真人版,网友推荐演员适配度也太高了!

祝晓塬
2025-02-09 22:36:08
大S生前未P图照流出,和归宁宴判若两人,肿胀腹部,眼睛睁不开

大S生前未P图照流出,和归宁宴判若两人,肿胀腹部,眼睛睁不开

娱圈小愚
2025-02-10 10:34:39
东契奇圣诞大战伤退 整个管理层没有表达同情而是沮丧甚至愤怒

东契奇圣诞大战伤退 整个管理层没有表达同情而是沮丧甚至愤怒

直播吧
2025-02-10 15:02:30
哈灵顿:马布里劝我去CBA 那里钱不好挣 住5星酒店但条件还是很差

哈灵顿:马布里劝我去CBA 那里钱不好挣 住5星酒店但条件还是很差

直播吧
2025-02-10 10:58:14
孙梅君任海关总署署长

孙梅君任海关总署署长

新京报政事儿
2025-02-10 17:17:56
医生坦言:男性如果长期不饮酒,一段时间后,身体会出现4大变化

医生坦言:男性如果长期不饮酒,一段时间后,身体会出现4大变化

肿瘤的真相与误区
2025-02-07 19:36:07
Deepseek评中国男篮历史最佳5人:如果这5人去打,稳稳世界前八!

Deepseek评中国男篮历史最佳5人:如果这5人去打,稳稳世界前八!

美人茶话会
2025-02-10 13:44:25
DeepSeek总结:养一个孩子好还是两个孩子好,太详细了

DeepSeek总结:养一个孩子好还是两个孩子好,太详细了

滑稽斑马呀
2025-02-09 12:22:12
特朗普加征钢铁25%关税,中国7年前的布局,此时此刻显了效

特朗普加征钢铁25%关税,中国7年前的布局,此时此刻显了效

户外钓鱼哥阿旱
2025-02-10 14:17:33
2025-02-10 19:20:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
12135文章数 65860关注度
往期回顾 全部

科技要闻

救命!在小红书,DeepSeek被玩坏了

头条要闻

马斯克呼吁关闭美国之音电台:只是在浪费纳税人的钱

头条要闻

马斯克呼吁关闭美国之音电台:只是在浪费纳税人的钱

体育要闻

NBA史上最炸裂的截止日 30岁的他杀疯了

娱乐要闻

在日网友质疑大S死因,发声后遭威胁

财经要闻

黄有光:特朗普削减公共支出得不偿失

汽车要闻

省油实用超舒适 银河L6 EM-i的实力不止是价格

态度原创

本地
游戏
健康
时尚
公开课

本地新闻

非遗版春节|锦绣长春,一针一线“绣”出满族年味

LOL博主开团LEC史一AD,发2小时视频怒怼!多名选手力挺Rekkles

抑郁症患者称好的“乌托邦”宝地

女人衣服不用越买越多,准备几件毛衣最有性价比,舒适又百搭

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版