网易首页 > 网易号 > 正文 申请入驻

啊?7B的DeepSeek反超R1满血版,上海AI Lab周伯文团队新成果

0
分享至

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

倒反天罡了,新方法让DeepSeek蒸馏的Qwen数学能力反超R1满血版,7B反超671B。

除此之外,0.5B模型超过GPT-4o,1.5B的DeepSeek蒸馏Qwen超过o1-mini和o1-preview,3B的Llama超过405B的Llama……

这是上海AI Lab/清华哈工大/北邮团队最新研究成果,通讯作者为齐弼卿和周伯文:

重新思考计算最优的Test-Time Scaling(TTS)

团队认为,尽管TTS在提升语言模型推理能力上取得进展,但目前的研究还缺乏对策略模型、过程奖励模型(PRM)和问题难度等因素影响的系统分析。

因此,该研究聚焦两个核心问题:

  • 跨不同策略模型、PRM和问题难度,最优的TTS方式是什么?
  • TTS能在多大程度上提升语言模型在复杂任务上的表现?小模型能否超越大模型?

重新思考Test-Time Scaling

为探究这些问题,团队在MATH-500和AIME24数学推理数据集上,使用多个不同规模的策略模型和PRM,进行了全面的实验评估。

他们将推理问题建模为马尔可夫决策过程,定义了状态空间、动作空间、转移函数、奖励函数和折扣因子等元素。

对于TTS,考虑了Best-of-N、Beam Search和Diverse Verifier Tree Search(DVTS)三种方法。

实验发现,最优的TTS方法高度依赖于具体的策略模型、过程奖励模型(PRM)和问题难度。

对于小型策略模型,基于搜索的方法优于BoN,而对于大型策略模型相反。

团队认为之所以出现这种差异,是因为较大的模型具有更强的推理能力,并且不需要验证器来执行逐步选择。相比之下,较小的模型依靠验证器来选择每个步骤,确保每个中间步骤的正确性。

对于过程奖励模型,对Llama3.1-8B-Instruct使用Skywork和Qwen2.5-Math的PRM时效果拔群,在MATH-500数据集上搜索方法的性能随计算预算增加显著提升。

而使用Math-Shepherd和RLHFlow的PRMs时效果不佳甚至不如多数投票。

对于问题难度,参数少于7B的小型策略模型,BoN更适合于简单的问题,而Beam Search更适合于更难的问题。

参数在7B-32B的策略模型,DVTS在简单和中等问题上表现良好,而Beam Search对于困难问题更有效。

另外在72B参数的策略模型上,BoN是所有难度级别的最佳方法。

因此,团队提出了一个更通用的奖励感知型最优计算TTS框架,确保TTS计算能适应特定的策略模型、提示和奖励函数。

利用奖励感知型最优TTS框架,在MATH-500和AIME24上取得了如下结果:

3B的Llama3.2超越135倍大的Llama3.1-405B,与之前的TTS研究(超越23倍大的模型)相比,改善了487%。

DeepSeek-R1-Distill-Qwen-7B超过了OpenAI-o1(参数量未知)和DeepSeek-R1(671B)。

甚至0.5B和1.5B的小模型也展现出了与GPT-4o、o1-preview等专门的推理模型媲美的表现。

研究还比较了最优TTS和目前流行的基于长CoT的方法。

结果表明,TTS在MATH-500和AIME2024上优于多数长CoT方法。

然而,虽然TTS在MATH-500上的性能接近DeepSeek-R1-Distill-Qwen-7B,但在AIME24上却显示出显著的下降。
这说明TTS在相对简单任务上优势明显,但在更复杂的任务上则逊色于从超大规模模型蒸馏得到模型,还有提升空间。

最后,团队提出研究真正的 “从弱到强” 方法而不是当前 “从强到弱” 的策略优化监督机制的重要性。

未来的工作应侧重于开发更具适应性和通用性的监督机制,以提高小语言模型在复杂任务上的性能,并为开发有效的推理策略提供新方法。

目前的工作对数学任务上的TTS做了全面评估,但仍有一些局限性和未来方向需要探索:比如将TTS扩展到更多任务,例如代码和化学,以及探索更高效的计算最优TTS方法。

论文地址:
https://arxiv.org/abs/2502.06703

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
IGN求助:怎么和《GTA6》金发美女曼迪约会 很急!

IGN求助:怎么和《GTA6》金发美女曼迪约会 很急!

游民星空
2026-11-20 11:07:52
中金公司首席经济学家缪延亮:稳市政策持续加力,中国资产重估有长期支撑

中金公司首席经济学家缪延亮:稳市政策持续加力,中国资产重估有长期支撑

每日经济新闻
2026-11-20 13:57:06
1948年秋,东野前指专列深夜误入拉林站,一参谋失眠下车瞥见站牌,刘亚楼急调车头死里逃生

1948年秋,东野前指专列深夜误入拉林站,一参谋失眠下车瞥见站牌,刘亚楼急调车头死里逃生

磊子讲史
2026-11-18 17:35:27
阿里P8:人一旦失业,就会“扣扣搜搜”。家庭收入从去年140万降到今年50多万

阿里P8:人一旦失业,就会“扣扣搜搜”。家庭收入从去年140万降到今年50多万

蚂蚁大喇叭
2026-09-06 17:09:52
克里米亚大桥被炸断了!!!

克里米亚大桥被炸断了!!!

西楼饮月
2026-11-17 16:41:46
一场0-2验出国安最大坑货,一次犯错坑惨球队,彻底改变比赛走势

一场0-2验出国安最大坑货,一次犯错坑惨球队,彻底改变比赛走势

零度眼看球
2026-11-20 23:22:37
16年军中大老虎落马:武警上将衔,官至军委副参谋,被儿子拉下马

16年军中大老虎落马:武警上将衔,官至军委副参谋,被儿子拉下马

文史旺旺旺
2024-12-31 21:51:41
凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

罪案洞察者
2025-06-12 13:45:25
神经内科主任:只要体检里2个指标正常,脑梗风险就不用太焦虑

神经内科主任:只要体检里2个指标正常,脑梗风险就不用太焦虑

医学科普汇
2026-11-06 12:30:09
艾森科特团队警告利伯曼:一票也不会投给你,绝不支持你担任总理

艾森科特团队警告利伯曼:一票也不会投给你,绝不支持你担任总理

吃货的分享
2026-11-20 04:06:14
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
哈兰德26岁已进399球,同龄C罗少进165球

哈兰德26岁已进399球,同龄C罗少进165球

懂球帝
2026-11-20 13:12:53
美以伊局势:美军再袭伊朗格什姆岛;特朗普:正认真对待伊朗或在华盛顿引爆脏弹的消息;伊朗称打击巴林的美军雷达系统,美军否认被击中

美以伊局势:美军再袭伊朗格什姆岛;特朗普:正认真对待伊朗或在华盛顿引爆脏弹的消息;伊朗称打击巴林的美军雷达系统,美军否认被击中

极目新闻
2026-11-18 07:16:44
中国历史上,至今下落不明的10位著名人物

中国历史上,至今下落不明的10位著名人物

文史达观
2025-10-11 06:45:03
天津巨贪陈克勇特大贪腐案

天津巨贪陈克勇特大贪腐案

何艾青
2026-11-20 22:17:45
李亚鹏被送急诊不到一周,王菲母女就传来喜讯,谢霆锋竟成局外人

李亚鹏被送急诊不到一周,王菲母女就传来喜讯,谢霆锋竟成局外人

不写散文诗
2026-11-20 13:45:13
APEC深圳接机暗藏深意 中越分层阵容尽显邻里外交格局温度

APEC深圳接机暗藏深意 中越分层阵容尽显邻里外交格局温度

小陆搞笑日常
2026-11-20 01:21:43
《GTA6》电台出现林子祥《敢爱敢做》引发玩家讨论

《GTA6》电台出现林子祥《敢爱敢做》引发玩家讨论

3DM游戏
2026-11-19 11:29:39
俄专家曾预言:中国想追上俄罗斯还得10年,赶超美国还得25年?

俄专家曾预言:中国想追上俄罗斯还得10年,赶超美国还得25年?

黔乡小姊妹
2026-10-07 20:46:50
三打刻赤,为何铁路桥难以摧垮?

三打刻赤,为何铁路桥难以摧垮?

书生论剑
2026-11-20 07:05:00
2026-11-21 03:07:00
量子位 incentive-icons
量子位
追踪人工智能动态
13705文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
时尚
房产
手机
教育

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

6.6亿!海口卖地!

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

无障碍浏览 进入关怀版