网易首页 > 网易号 > 正文 申请入驻

快手Klear团队:梯度保留协调熵,解决强化学习中的熵不稳定问题

0
分享至

本研究由快手科技 Klear 语言大模型团队完成,核心作者苏振鹏,潘雷宇,吕民轩,胡文凭,张富峥,周国睿等。快手 Klear 语言大模型团队聚焦在基础语言大模型研发、Agent RL 等前沿技术创新等方向,积累务实的探索 AGI 的能力边界,并不断推进 AI 领域新技术和新产品的发展。此前,该团队已开源了 Klear-46B-A2.5B 和 Klear-Reasoner-8B 等模型,其中 Klear-Reasoner-8B 在数学和代码的基准测试上达到了同参数级别模型的 SOTA 效果。

近年来,随着 OpenAI O1、Deepseek R1、KIMI K2 等大模型不断展示出复杂推理与思维链能力,强化学习已成为推动语言模型智能跃升的关键技术环节。相比传统的监督微调,RL 通过奖励信号直接优化模型行为,使模型能够在训练中自我探索、自我修正。

然而,这一阶段的训练并非稳态过程。业界在大规模 RLVR 实践中普遍发现,模型熵的失衡,即探索与利用的不协调,是导致模型训练不稳定、性能难以提升的核心原因。针对这一长期瓶颈,快手 Klear 团队提出了一种新的强化学习算法 CE-GPPO(Coordinating Entropy via Gradient-Preserving Policy Optimization),该方法以「熵」为核心视角,重新审视 RL 中梯度裁剪机制的本质影响,并对应地提出了梯度保留策略,在保证训练稳定的前提下,纳入裁剪区间外的梯度使模型能够在训练过程中达到探索与收敛的平衡。

  • 论文标题:CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning
  • 论文地址:https://www.arxiv.org/pdf/2509.20712
  • 项目地址:https://github.com/Kwai-Klear/CE-GPPO

研究动机


在使用强化学习方法优化大模型以处理复杂推理任务的过程中,策略熵的平衡是核心挑战,原因在于它衡量了动作选择的不确定性,能够代表模型探索与利用的权衡。然而,现有的方法通常面临熵不稳定的问题,具体来说包含两方面,一方面是熵坍缩,这会造成模型的输出趋于单一,丧失探索能力,另一方面是熵爆炸,这会造成模型过度探索,进而导致训练不稳定、难以收敛。

CE-GPPO 通过研究将所有 token 分为四类,分别对熵有不同的作用:

  • 导致熵坍缩的 token 类型:正优势高概率 token(PA&HP)、负优势低概率 token(NA&LP),优化这部分 token 会强化高概率选择或弱化低概率选择,加速策略的收敛。

  • 导致熵爆炸的 token 类型:正优势低概率 token(PA&LP)、负优势高概率 token(NA&HP),优化这部分 token 会强化低概率选择或弱化高概率选择,维持输出多样性。

然而,由于 PPO 等方法广泛采用的 clip 机制,有些低概率的 token(包括 PA&LP token 和 NA&LP token)的梯度被直接截断,这意味着,PPO 在保证稳定性的同时,失去了平衡探索与利用的「安全阀」,从而导致了熵的不稳定变化,具体来说又分为以下两种情况:

  • PA&LP token 被裁剪,导致模型无法有效探索,进而造成熵坍塌的现象。
  • NA&LP token 被裁剪,导致模型过度探索,进而造成收敛延迟的现象。

现有的一些方法,比如 DAPO 中的 clip higher 方法拓展了裁剪的上界,仅仅纳入了一部分原本被裁剪的 PA&LP token,并没有解决过度探索的问题。因此,CE-GPPO 的核心目标是:在保证训练稳定的前提下,重新利用裁剪外区间低概率 token 的梯度,实现策略熵的精细调控,平衡模型训练过程中的探索与利用。


算法设计


基于上述洞察,快手 Klear 团队提出了全新的 CE-GPPO 算法,其核心思想是:不再丢弃被裁剪 token 的梯度,而是有控制地保留和缩放它们,让它们作为平衡熵变化,平衡探索与利用的 “阀门”。

核心机制

上式是 CE-GPPO 的目标函数,其在原 PPO 框架上引入了两项关键改进:

  • stop gradient 解耦机制:对超出 clip 区间的 token 应用 stop gradient 操作,在前向传播保持不变的同时在反向传播时恢复其梯度传导。

  • 双系数控制 β₁ 和 β₂ :通过两个可调整的超参数对梯度进行缩放,其中 β₁ 控制原本被截断的 NA&LP token 的梯度,促进收敛;β₂ 控制原本被截断的 PA&LP token 的梯度,鼓励探索。这使得训练可以在探索与利用之间灵活调节。


梯度稳定性证明


上式是 CE-GPPO 的梯度表达式,可以观察到,虽然 CE-GPPO 引入了 clip 区间外的梯度,其仍然能够维持训练稳定,一个核心的原因是梯度幅度是可控的:裁剪区间外的梯度被限制在 β₁(1-ɛ) 或 β₂(1+ɛ) ,其中 β₁ 和 β₂ 通常接近于 1,避免梯度爆炸。公式的其他项与 PPO 的梯度表达式一致,继承了 PPO 的「保守更新」的特性。

实验结果


为验证 CE-GPPO 在稳定性与性能上的有效性,研究团队在多个数学推理基准上进行了系统实验,包括 AIME24、AIME25、HMMT25、MATH500 和 AMC23。所有实验均基于 DeepSeek-R1-Distill-Qwen 模型(1.5B 与 7B)进行训练。

主要观察:

  • CE-GPPO 在所有 benchmark 上均超越强基线方法。
  • 提升最显著的任务为 AIME25 与 HMMT25,这类高难度推理任务对熵稳定性与探索能力最敏感,验证了 CE-GPPO 在保持探索性的同时确保收敛的效果。
  • 模型规模越大,CE-GPPO 带来的收益越明显,说明方法拥有能够 scale 到更大规模模型的潜力。

此外,训练过程中对比了各方法的熵动态曲线与验证集准确率变化:

  • GRPO 出现显著的熵塌缩,训练后期输出趋同;
  • DAPO 通过 clip-higher 缓解了塌缩,但存在 “熵反弹”,后期出现过度探索;
  • CE-GPPO 保持稳定且中等偏高的熵水平,全程无震荡,最终收敛性能更高。

实验分析

超参数对熵变化的影响

CE-GPPO 的两个核心超参数 β₁ 和 β₂ 控制了裁剪区间外梯度的权重,在 1.5B 与 7B 模型上进行了系统超参数实验,结果如图所示:

  • 当 β₁ 较大(例如 β₁=1, β₂=0.5)时,模型更偏向利用,熵下降更快。
  • 当 β₂ 较大(例如 β₁=0.5, β₂=1)时,模型倾向于探索,熵下降变缓且保持在较高水平,甚至也有可能出现熵上升的趋势。

这一现象验证了 CE-GPPO 的 “可控熵调节” 机制:通过调整两个系数,训练可以在「快速收敛」与「持续探索」之间取得理想平衡。

熵变化与性能的关系

进一步的,研究还分析了熵变化与性能之间的关系,并得出了以下结论:

  • 维持相对高且稳定的熵通常有利于训练过程中的持续性能提升,熵的过快下降和上升都不利于模型性能的稳定提升。
  • 给予 PA&LP tokens 更大的梯度权重 β₂ ,同时给予 NA&LP tokens 更小的权重 β₁ ,有助于维持模型的探索能力,更有利于性能提升。
  • CE-GPPO 对超参数具有鲁棒性,在不同规模模型上,β₁=0.5/0.75 和 β₂=1 的设置都能带来显著的性能提升。

训练稳定性实证性验证

为了验证 CE-GPPO 的训练稳定性,研究可视化分析了训练过程中 KL 散度和 gradient norm,并与 GRPO 的训练动态进行对比,结果表明,CE-GPPO 虽然纳入了 clip 区间外 token 的梯度,但由于梯度限制在固定区域,所以其整体训练过程是平稳的。

与其他 RL 算法比较

研究还对比了 CE-GPPO 与其他近期提出的强化学习算法的性能,比如 CISPO 和 GSPO 算法,CE-GPPO 在不同基准上取得了最好的结果,进一步的,可以分析出如下结论:

  • CISPO 虽然采用了类似的通过 stop gradient 的方法保留梯度,但在训练后期仍出现熵急剧下降和性能崩溃的现象,它与 CE-GPPO 的区别主要在于 CE-GPPO 继承了 PPO 的悲观更新的特性,并且 CE-GPPO 对于 clip 区间外梯度的管理更加细粒度,这些原因导致 CE-GPPO 的性能超过 CISPO 算法。
  • GSPO 使用序列级别的重要性采样,这导致了大约 15% 的 token 被裁剪,而 CE-GPPO 方法纳入了 clip 区间外 token 的梯度,其对于采样样本的利用率更高,所以性能更好。

与其他熵调节方法的比较

最后,研究还比较了 CE-GPPO 和其他熵调节的算法,比如传统的熵正则化以及 DAPO 的 clip-higher 策略,结果表明:

  • 直接加入熵正则项虽然能延缓熵坍缩,但其对超参数稀疏很敏感,并且性能均较差。
  • DAPO 的 clip higher 策略虽然能纳入部分高熵 token 的梯度,但在训练后期出现熵反弹和过度探索的现象,这限制了模型的收敛。
  • CE-GPPO 全程保持了较为平稳的熵曲线,并且性能随训练不断提升,达到了最优性能。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
离异母亲带13岁女儿和60后男子同居,女儿被多次侵犯不反抗,男子被判13年半,网友:母亲怎么当的

离异母亲带13岁女儿和60后男子同居,女儿被多次侵犯不反抗,男子被判13年半,网友:母亲怎么当的

一丝不苟的法律人
2026-11-18 16:35:02
网传物业费会成为压死失业人群的最后一根稻草…

网传物业费会成为压死失业人群的最后一根稻草…

慧翔百科
2026-11-12 11:33:59
WTI原油期货跌幅扩大至2% 失守83美元/桶

WTI原油期货跌幅扩大至2% 失守83美元/桶

每日经济新闻
2026-11-18 14:59:03
阿兰:入选国家队就已实现梦想,首秀传射让我非常满足

阿兰:入选国家队就已实现梦想,首秀传射让我非常满足

懂球帝
2026-11-17 21:47:10
现场画面:泰国总理飙粤语谈回广东感受:“好开心”“冇时间”

现场画面:泰国总理飙粤语谈回广东感受:“好开心”“冇时间”

凤凰卫视
2026-11-18 17:23:07
上海四年流失60万人!年轻人纷纷撤离,真相根本不是房价那么简单

上海四年流失60万人!年轻人纷纷撤离,真相根本不是房价那么简单

青眼财经
2026-11-16 21:47:28
张天爱里面不穿,有点辣啊

张天爱里面不穿,有点辣啊

吃瓜党二号头目
2026-09-05 12:10:46
官宣!肇俊哲出任主教练!

官宣!肇俊哲出任主教练!

五星体育
2026-11-17 16:54:10
彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

磊子讲史
2026-11-18 14:51:40
赌场还是屠宰场?A股正在把散户吃干抹净

赌场还是屠宰场?A股正在把散户吃干抹净

A活着
2026-10-12 17:03:56
林子聪说,我住的这个房子,市价三千万,能租五六十年!我都快五十了,住到一百一十岁?根本没必要背房贷!

林子聪说,我住的这个房子,市价三千万,能租五六十年!我都快五十了,住到一百一十岁?根本没必要背房贷!

元气科技馆
2026-11-10 17:19:04
欧国联8强出炉:英法德葡获头名!挪威大逆转+压哨晋级 20日19点抽签

欧国联8强出炉:英法德葡获头名!挪威大逆转+压哨晋级 20日19点抽签

我爱英超
2026-11-18 06:06:25
钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

墨策讲历史
2026-11-04 22:47:01
1993年冯巩登门拜访张学良,少帅盯着他看了半天,颤抖着问:冯国璋是你什么人?听完答复,他背过身落泪了

1993年冯巩登门拜访张学良,少帅盯着他看了半天,颤抖着问:冯国璋是你什么人?听完答复,他背过身落泪了

磊子讲史
2026-11-18 11:31:17
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
大结局将至!菲众议院检察官透露,萨拉弹劾案预计12月中旬作出裁决

大结局将至!菲众议院检察官透露,萨拉弹劾案预计12月中旬作出裁决

淡淡稻花香s
2026-11-18 04:41:25
女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

第四思维
2025-09-03 09:30:25
2022年,我海军编队用激光武器,照向澳飞行员,结局如何?

2022年,我海军编队用激光武器,照向澳飞行员,结局如何?

灿烂夏天
2025-01-17 23:29:40
中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

潘冹旅行浪子
2026-06-23 00:04:49
随着湖人9连胜,马刺93-105活塞,西部最新排名出炉!森林狼升第3

随着湖人9连胜,马刺93-105活塞,西部最新排名出炉!森林狼升第3

薇说体育
2026-11-18 17:09:27
2026-11-18 18:00:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
健康
亲子
手机
军事航空

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

医生眼里"很伤腰"的椅子,很多人天天坐

亲子要闻

潮州月子中心里新时代母婴会所的服务比别家好吗?

手机要闻

苹果折叠屏陷入两难 博主:iPhone Duo 2外屏上Face ID 体验会很割裂

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版