网易首页 > 网易号 > 正文 申请入驻

快手可灵 x 中山大学推出「GRPO卫兵」,显著缓解视觉生成过优化

0
分享至

论文第一作者为王晶,中山大学二年级博士生,研究方向为强化学习与视频生成;通讯作者为中山大学智能工程学院教授梁小丹。

目前,GRPO 在图像和视频生成的流模型中取得了显著提升(如 FlowGRPO 和 DanceGRPO),已被证明在后训练阶段能够有效提升视觉生成式流模型的人类偏好对齐、文本渲染与指令遵循能力。

在此过程中,重要性比值的 clip 机制被引入,用于约束过于自信的正负样本梯度,避免破坏性的策略更新,从而维持训练的稳定性。然而,实证分析显示,该机制存在系统性偏差:其均值长期低于 1,导致过度自信的正梯度无法得到有效限制;同时,不同去噪步下比值的分布方差差异显著,使得部分步骤的 clip 机制失效。

结果,模型在训练过程中容易陷入过度优化状态——即代理奖励持续上升,但图像质量及文本与提示的对齐度反而下降,导致优化后的模型在实际应用中效果不佳。

图像质量随优化过程的变化如下:

为此,中山大学、快手可灵以及港中文 MMLab 等团队联合提出了 GRPO-Guard,这是首个针对 GRPO 在流模型中出现的过度优化问题而设计的解决方案。GRPO-Guard 能在保证快速收敛的同时,大幅降低过度优化的风险。

在 Flow-GRPO、DanceGRPO 等多种 GRPO 变体、不同扩散骨干模型(如 SD3.5-M、FLUX1.dev),GRPO-Guard 在文本渲染、GenEval、PickScore 等多种代理任务中均展现出稳定显著的提升,同时有效缓解 reward hacking 现象,提高优化后模型的实际应用价值。

目前该项目的论文和代码均已开源:

  • 论文标题:GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping
  • 论文链接:https://arxiv.org/abs/2510.22319
  • 代码地址:https://github.com/yifan123/flow_grpo

核心问题:

比值分布偏移破坏 Clip 约束

由于二阶项的引入,log-importance ratio 在 off-policy 情况下会受到二次项的影响,表现出均值低于 1 且不同去噪步骤(denoising step)方差差异显著的现象。

理想情况下,重要性比值的均值应接近 1,以保证左右 clip 区间均衡,使有害的正负样本梯度能够被有效约束。然而,均值偏移和方差差异会导致预先设定的 clip 机制失效:一方面,正样本梯度无法被充分约束;另一方面,部分步骤的 clip 机制失效,从而使策略(policy)陷入过度优化状态。

此外,FlowGRPO 中不同去噪步骤的梯度存在显著差异。具体而言

解决思路:

RatioNorm 和跨步梯度平衡

针对上述问题,为每个去噪步骤单独设定特定的 clip 范围显得过于繁琐。为此,我们提出GRPO-Guard,在原有 GRPO 框架上引入两项关键改进:

  • 比率归一化(RatioNorm):对每个去噪步骤的重要性比值分布进行标准化,使其均值接近 1,方差保持一致,从而恢复 clip 机制的有效性,避免因正样本裁剪失效而引发的过度优化。

该机制对梯度的影响如下所示:

经过 RatioNorm 调整后的重要性比值分布对比:

FlowGRPO:均值小于 1,破坏性正样本约束失效

GRPO-Guard:均值接近 1,破坏性正样本得到约束

实验结果:

显著缓解过优化

我们在 FlowGRPO 和 DanceGRPO 两种不同的 GRPO 算法、SD3.5-M 和 Flux1.dev 两种扩散骨干模型,以及 GenEval、PickScore 和文本渲染等多种任务上验证了 GRPO-Guard 的有效性。实验结果表明,GRPO-Guard 能显著缓解过度优化现象,同时保持与 baseline 相近的性能提升。

具体而言,不同任务的 proxy score 与 gold score 对比显示:在 baseline 方法中,gold score 存在明显下降趋势,而在 GRPO-Guard 下,这一下降趋势被显著缓解。

训练过程图像质量可视化:FlowGRPO/DanceGRPO 等算法随着训练的进行,策略(policy)过度优化问题明显,导致图像质量显著下降。GRPO-Guard 则在训练过程后期仍然保持了较高的图像质量。

更多可视化样例显示,在 baseline 方法下,在文本响应和图像质量都呈现出明显的退化,而GRPO-Guard 能在提升目标 reward 的同时较好地保持文本响应和图像质量。

在 PickScore 任务中,baseline 方法在训练后期生成的人体比例存在不一致现象,且多人脸型过于相似,极大影响了生成多样性,GRPO-Guard 显著缓解了这个问题。

总结与展望:

迈向更稳健的视觉生成式强化学习

作为首先关注 GRPO 在视觉生成中过优化现象的研究,GRPO-Guard 通过比率归一化(RatioNorm)和跨步梯度平衡,有效稳定策略更新,恢复裁剪机制对正样本的约束,并缓解过度优化。实验表明,无论在不同 GRPO 变体、扩散骨干模型,还是多种代理任务中,GRPO-Guard 都能保持甚至提升生成质量,并提升训练的稳定性和多样性。

本质上过优化问题的出现是由于 proxy score 和 gold score 的巨大差距而导致的,虽然 GRPO-Guard 从优化过程上缓解了过优化现象,但并未彻底根治。未来,应该构建更精确的奖励模型,使代理分数更接近真实评估(gold score),从而进一步减少 reward hacking 并提升优化效果。这将为 GRPO 在流模型及更广泛的生成任务中的实际应用提供更可靠的技术保障。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
有人预测:未来五年内,中国股市很可能将消失的5类股票

有人预测:未来五年内,中国股市很可能将消失的5类股票

星语者056
2026-11-21 10:22:33
财经评论人叶檀癌症晚期,二十多年分居的丈夫能给她什么支撑?

财经评论人叶檀癌症晚期,二十多年分居的丈夫能给她什么支撑?

户外钓鱼哥阿旱
2026-11-21 01:05:51
33岁高校女教师在公园拉二胡,被围得里三层外三层,有人从外地赶来捧场,现场大合唱;曾被质疑“有失身份”,本人回应:舞台不分大小

33岁高校女教师在公园拉二胡,被围得里三层外三层,有人从外地赶来捧场,现场大合唱;曾被质疑“有失身份”,本人回应:舞台不分大小

大风新闻
2026-11-21 22:05:03
金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

大众网
2026-11-21 12:23:05
逆转!东契奇25+8+4,亨特30+6+2,马刺很无奈:西部第一易主

逆转!东契奇25+8+4,亨特30+6+2,马刺很无奈:西部第一易主

篮球大视野
2026-11-21 14:35:12
曾仅存13只!佛山男子买甲鱼苗竟混进4只,科学家花40年培育926只

曾仅存13只!佛山男子买甲鱼苗竟混进4只,科学家花40年培育926只

云居历史
2026-11-21 03:29:16
数据显示,超15%的中青年夫妻处于“干婚”状态,68%的中年人拥有固定深交的异性网友

数据显示,超15%的中青年夫妻处于“干婚”状态,68%的中年人拥有固定深交的异性网友

舒山有鹿
2026-07-25 09:57:20
退役上将回乡扫墓,被镇长儿子拦路,他问:认识我车上挂的牌子吗

退役上将回乡扫墓,被镇长儿子拦路,他问:认识我车上挂的牌子吗

麦子情感故事
2026-11-21 20:59:11
一个月打完,詹姆斯188分,库里278分,文班458分,东契奇太夸张

一个月打完,詹姆斯188分,库里278分,文班458分,东契奇太夸张

大西体育
2026-11-21 21:46:18
瓜帅徒弟带不动曼城,英超4轮不胜!马雷斯卡的战术到底是什么?

瓜帅徒弟带不动曼城,英超4轮不胜!马雷斯卡的战术到底是什么?

智道足球
2026-11-21 22:40:39
“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

千秋文化
2026-09-22 19:32:48
中俄东北虎数量差距断崖:俄罗斯700只,中国的数量令人意外!

中俄东北虎数量差距断崖:俄罗斯700只,中国的数量令人意外!

兴趣知识
2026-11-22 02:16:44
河南的饭食真的很粗糙吗?网友:不是我冤枉人,真的很粗糙

河南的饭食真的很粗糙吗?网友:不是我冤枉人,真的很粗糙

夜深爱杂谈
2026-10-24 20:04:49
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
高市早苗在深圳记者会上的表现,让日本国内相当失望和担忧

高市早苗在深圳记者会上的表现,让日本国内相当失望和担忧

匹夫来搞笑
2026-11-22 01:17:12
美国、俄罗斯、欧洲猛然发现一件头疼事:低估了中国,高估了自己

美国、俄罗斯、欧洲猛然发现一件头疼事:低估了中国,高估了自己

文史达观
2025-03-27 12:59:20
游客在三亚海边捡到百斤重金枪鱼,体长近1.9米,价值超3000元,当地:只要不是保护动物,可自行处理

游客在三亚海边捡到百斤重金枪鱼,体长近1.9米,价值超3000元,当地:只要不是保护动物,可自行处理

91.6陕西交通广播
2026-11-20 23:24:01
一个人如果舍不得扔旧衣服,说明他的命运大概率会是这2种结果

一个人如果舍不得扔旧衣服,说明他的命运大概率会是这2种结果

荷兰豆爱健康
2026-11-20 05:09:14
德泽尔比:萨维奥和上次伤的同一处;换下索兰克也许是我错了

德泽尔比:萨维奥和上次伤的同一处;换下索兰克也许是我错了

懂球帝
2026-11-22 02:47:18
2026-11-22 03:11:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
教育
数码
家居
艺术

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

无障碍浏览 进入关怀版