网易首页 > 网易号 > 正文 申请入驻

4B小模型数学推理首超Claude 4,700步RL训练逼近235B性能

0
分享至

Polaris团队 投稿
量子位 | 公众号 QbitAI

4B模型的数学推理能力和顶尖商业大模型差在哪里?

香港大学NLP团队联合字节跳动Seed、复旦大学发布名为Polaris的强化学习训练配方:

通过Scaling RL,Polaris让4B模型的数学推理能力(AIME25上取得79.4,AIME24上取得81.2)超越了一众商业大模型,如Seed-1.5-thinking、Claude-4-Opus和o3-mini-high(25/01/31)。

并且,Polaris-4B的轻量化允许在消费级显卡上部署。

详细的blog、训练数据、模型和代码都已全部开源,链接可见文末。

围绕待训练模型进行参数配置

之前的RL训练配方,如DeepScaleR,已经展示了Scaling RL在较弱基模型上强大的效果。

但对于目前最前沿的开源模型(如Qwen3),Scaling RL是否也能复现如此显著的提升呢?

Polaris的研究团队给出了明确回答:可以!

具体来说,Polaris通过仅仅700步的RL训练,成功地让Qwen3-4B在数学推理任务上接近了其235B版本的表现。

只要方法得当,RL还存在着巨大的开发潜力。

Polaris的成功的秘籍就是:训练数据及超参数设置都要围绕待训练的模型来进行设置。

训练数据构造

Polaris团队发现,对于同一份数据,不同能力的基模型展现出的难度分布呈现出镜像化的特征。、

对于DeepScaleR-40K训练集中的每个样本,研究人员使用R1-Distill-Qwen-1.5B/7B两个模型回答分别推理了8次,再统计其中正确次数,以此衡量每个样本的难度水平。

实验结果显示,大多数样本位于两端(8/8正确解答或0/8正确解答),意味着该数据集虽然对1.5B模型具有挑战性,却不足以有效训练7B模型。

Polaris提出,构建轻微偏向难题的数据分布,形状就像镜像J,过度偏向简单题或难题的分布都会使得无法产生优势的样本在每个batch中占有过大的比例。

Polaris对开源数据DeepScale-40K和AReaL-boba-106k进行了筛选,剔除所有8/8正确的样本,最终形成了53K的初始化数据集。

尽管已经得到了一个好的初始化数据,但它并不是训练数据的“最终版本”。

在强化学习训练过程中,随着模型对训练样本的“掌握率”提高,难题也会变成简单题。

为此,研究团队在训练中引入了数据动态更新策略。训练过程中,每个样本的通过率会随着reward计算而实时更新。在每个训练阶段结束时,准确率过高的样本将被删除。

以多样性为核心的采样控制

在RL训练中,多样性被视为提升模型表现的重要因素。好的多样性使模型能探索更广泛的推理路径,避免在训练早期陷入过于确定的策略中。

Rollout阶段的多样性主要通过topp、topk与温度t来调控。当前大多数工作都采用topp=1.0和topk=-1,这已经达到了最大的多样性,但采样温度t还没有统一的设置。

目前主流的t的设置方法有两种:1、采用建议的解码温度,如Qwen3 demo中设置的0.6;2、直接设置为一个整数1.0。

但这两种做法在Polaris的实验中都不是最优解。

温度、性能与多样性的平衡之道

Polaris团队通过一系列试验,分析了采样温度与模型准确率及路径多样性之间的关系。

为了量化采样轨迹的多样性,他们采用Distinct N-gram指标(n=4)用于衡量生成文本中独特连续词组的比例:分数越接近1.0,说明生成内容越多样;反之则重复率较高。

结果显示,较高的温度能显著提升多样性,但不同模型在相同温度下的表现也存在较大差异。从上图来看,对于这两个模型来说,以0.6作为采样温度明显多样性是不足的。

但也并非是把温度设的越大就越好,也需要考虑性能的变化。

Polaris团队发现模型性能随温度升高呈现“低-高-低”的趋势。例如,把采样温度设置成1.0,对于Deepseek-R1-distill系列模型过高了,而对于Qwen3系列来说又有点低。

说明理想温度的设计需要针对待模型进行精细校准,没有一个超参数是适配所有模型的。

温度区间的定义

Polaris团队基于实验趋势归纳出模型采样温度的三个区域:

  • 1.鲁棒生成区(Robust Generation Zone)
  • 在该区域内,性能波动较小。测试阶段解码温度通常就选自鲁棒生成区。
  • 2.控制探索区(Controlled Exploration Zone)
  • 此区域的温度虽然会导致模型性能较鲁棒生成区略有下降,但降幅在可接受范围内,同时能显著提升多样性,适合作为训练温度使用。
  • 3.性能崩塌区(Performance Collapse Zone)
  • 当采样温度超出一定范围时,性能急剧下降。

根据上图规律,Polaris团队提出以控制探索区的温度作为初始化温度。

实验显示,常用的t=0.6或t=1.0的设置温度过低,限制了模型的探索空间,导致难以挖掘RL潜力。

因此,Polaris把Qwen3-4B的初始训练温度设置为1.4。

动态温度调整

在性能增长的同时,多样性同样也会发生偏移。随着训练收敛,各路径间共享的N-gram比例增加,探索空间也随之缩小。

在整个训练过程中始终使用最开始的温度,会导致训练后期多样性不足。

因此,Polaris团队提出在RL训练过程中动态更新采样温度的策略:在每个阶段开始前都进行和温度初始化时类似的搜索方法,使得后续阶段起始的多样性分数和第一阶段的相似。

举个例子,假如第一阶段开始的多样性分数是60,那此后的每个阶段,Polaris团队都会选择一个能把多样性分数拉到60的温度来进行训练。

对比实验的结果显示,采用同一温度训练到结束,其效果不及多阶段温度调整。

多阶段温度调整不仅带来了更优的RL训练效果,还使得回答长度的提升更加稳定。

思维链长度外推

在训练Qwen3-4B的过程中,一个显著难题在于长上下文训练,因为模型本身的回答长度就已经非常长了,要继续训练的更长需要更高昂的计算代价。

Qwen3-4B的模型预训练上下文长度仅有32K,而RL阶段Polaris将最大训练长设定为52K。但实际达到最大序列长度的训练样本比例不足10%,意味着真正使用长文本进行训练的样本非常有限。

为评估Polaris-4B-Preview的长文生成能力,Polaris究团队选取了AIME2024/25中的60题,每题进行32次推理,总计1920个样本,并按照回答长度将其分为三组:

  • 短文本组:回答长度小于16K;
  • 中等文本组:回答长度介于16K到32K;
  • 长文本组:回答长度超过预训练长度32K。

统计结果表明,长文本组的准确率仅为26%,证明模型在生成超过预训练长度的长CoT时,性能明显受限。

既然RL在长上下文长度的时候具备劣势,那么长CoT性能不佳可能是由于长文本训练不充分导致。

针对长文本训练样本不足的问题,团队引入了长度外推技术。通过位置编码RoPE的调整,模型能够在推理时处理超出训练时所见的更长序列,进而补偿长文本训练中的不足。

具体实现上,研究团队采用了YaRN作为外推方法,并设置扩展因子为1.5,如下配置所示:

实验结果显示,通过应用该策略,超过32K长度回答的准确率由26%提升至超过50%

多阶段训练

Polaris采用多阶段的训练方式,在早期阶段,模型使用较短的上下文窗口;待模型表现收敛后,再逐渐增加上下文窗口的长度以拓宽模型的推理能力。

尽管这一策略在某些模型下有效,但在多阶段训练中,初始阶段选择合适的最大长度至关重要,不同基础模型token利用效率存在差异。

实验发现,对于DeepSeek-R1-Distill-Qwen-1.5B/7B,采用较短的响应长度训练效果都较好;但对Qwen3-4B来说,即使响应长度只有24K且响应截断比例低于15%,其性能也会急剧下降,这种下降即使在后期阶段也难以恢复。

通常来说,从一开始就让模型“思考更长”会更安全:对于Qwen3-4B,实验观察到从零开始使用40K响应长度时性能稳步提升,这与从一开始就采用24K和24K→40K的方案形成了鲜明对比。

要点:当计算资源允许时,直接从官方仓库建议的最大解码长度开始。

评估结果

Polaris模型需要使用比Qwen3更高的采样温度和更长的响应长度;所有其他设置保持相同。

对于AIME24和AIME25,上表报告了32次运行的平均性能。

可以看到,Polaris让4B模型的数学推理能力(AIME25上取得79.4,AIME24上取得81.2)超越了一众商业大模型,在大多数评测中表现最佳。

notion地址: https://honorable-payment-890.notion.site/POLARIS-A-POst-training-recipe-for-scaling-reinforcement-Learning-on-Advanced-ReasonIng-modelS-1dfa954ff7c38094923ec7772bf447a1
blog 地址: https://hkunlp.github.io/blog/2025/Polaris/
代码: https://github.com/ChenxinAn-fdu/POLARIS
Huggingface主页: https://huggingface.co/POLARIS-Project

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
罕见画面:我国沙漠腹地发现一棵巨树,高16米,七八个成年人才能合抱,依靠不定期的极端洪水,以及渗入沙层的地下水顽强生存

罕见画面:我国沙漠腹地发现一棵巨树,高16米,七八个成年人才能合抱,依靠不定期的极端洪水,以及渗入沙层的地下水顽强生存

极目新闻
2026-11-15 20:14:15
10月70城房价出炉:68个城市同比下降

10月70城房价出炉:68个城市同比下降

地产K线官方
2026-11-16 14:05:13
争议!亚马尔转发辱华视频 默默删除未回应 网友怒斥:必须公开道歉

争议!亚马尔转发辱华视频 默默删除未回应 网友怒斥:必须公开道歉

念洲
2026-11-16 06:12:52
高考700分被劝学医,如今靠父母养家,同龄工科毕业50万年薪!高分学医是浪费吗?医学利他性太强,北大医学部讲师:想转行就转吧

高考700分被劝学医,如今靠父母养家,同龄工科毕业50万年薪!高分学医是浪费吗?医学利他性太强,北大医学部讲师:想转行就转吧

梅斯医学
2026-11-16 07:57:02
沪指跌破3600点,创业板指跌逾2%,全市场超5000股下跌,APEC概念逆势拉升

沪指跌破3600点,创业板指跌逾2%,全市场超5000股下跌,APEC概念逆势拉升

东方豪侠
2026-11-16 10:34:43
再三告诫:最伤性生活的行为,不是喝酒!而是频繁的去做这5件事

再三告诫:最伤性生活的行为,不是喝酒!而是频繁的去做这5件事

牛锅巴小钒
2026-11-16 02:14:24
理想汽车:“动力电池召回”事项、“4000元赔偿”为不法分子冒用车企名义制作、传播的虚假通知,如已泄露敏感信息或转账,及时报警

理想汽车:“动力电池召回”事项、“4000元赔偿”为不法分子冒用车企名义制作、传播的虚假通知,如已泄露敏感信息或转账,及时报警

潇湘晨报
2026-11-16 16:15:17
闲鱼惊现大量2TB U盘,全新标价35元!到底有啥猫腻?

闲鱼惊现大量2TB U盘,全新标价35元!到底有啥猫腻?

小柱解说游戏
2026-11-15 16:28:19
东契奇43+3+9无缘今日最佳!对不起,你碰到创纪录的阿门了

东契奇43+3+9无缘今日最佳!对不起,你碰到创纪录的阿门了

微评体育圈
2026-11-16 12:41:43
拒31分逆转!湖人灭太阳豪取8连胜 东契奇43+9单节20分创纪录

拒31分逆转!湖人灭太阳豪取8连胜 东契奇43+9单节20分创纪录

醉卧浮生
2026-11-16 07:46:27
亚马尔辱华!网友要求蒙牛发声明解约 3大代言人翻车:刚解约姆巴佩

亚马尔辱华!网友要求蒙牛发声明解约 3大代言人翻车:刚解约姆巴佩

念洲
2026-11-16 07:49:47
真是笑不活了!34岁方博夺冠,奖杯刚递到手里,记者把话筒怼过去,所有人都等着他来一段热血宣言,他却只说了5个字,圈粉无数

真是笑不活了!34岁方博夺冠,奖杯刚递到手里,记者把话筒怼过去,所有人都等着他来一段热血宣言,他却只说了5个字,圈粉无数

锐评利物浦
2026-11-16 10:06:03
太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

金石随笔
2026-11-16 15:02:52
祸起萧墙!乌克兰袭击俄罗斯关键军机测试机场,引发大规模弹药殉爆

祸起萧墙!乌克兰袭击俄罗斯关键军机测试机场,引发大规模弹药殉爆

军迷战情室
2026-11-15 23:15:42
“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

极目新闻
2026-11-16 11:21:01
阿里达摩院很可惜,当年砸1000亿,但如今13个科学家走了9个,很多项目已收缩

阿里达摩院很可惜,当年砸1000亿,但如今13个科学家走了9个,很多项目已收缩

互联网.乱侃秀
2026-11-16 13:19:29
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
从前从前,有个人卖卡很久

从前从前,有个人卖卡很久

风向观察
2026-11-15 14:32:23
打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

我爱英超
2026-11-16 06:56:13
特朗普:我即将访问中国,期待参加中俄美元首会晤,我们会讨论很多议题

特朗普:我即将访问中国,期待参加中俄美元首会晤,我们会讨论很多议题

蓬勃新闻
2026-11-16 16:19:41
2026-11-16 16:48:49
量子位 incentive-icons
量子位
追踪人工智能动态
13684文章数 176599关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

亲子
手机
家居
公开课
军事航空

亲子要闻

宝宝气人但是聪明的4个行为

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

哈马斯拉法旅指挥官死于以军空袭

无障碍浏览 进入关怀版