网易首页 > 网易号 > 正文 申请入驻

VeRL-Omni:面向扩散和全模态生成模型的通用RL后训练框架

0
分享至



VeRL-Omni 是一个面向多模态生成模型的通用 RL 后训练框架,由VeRL-Omni 团队在 verl 与 vllm-omni 之上构建。覆盖扩散 transformer(Qwen-Image)、混合 AR-DiT(Qwen-Omni)、统一理解 + 生成(BAGEL、HunyuanImage-3.0)等架构。

多模态 rollout 走 vLLM-Omni 的异步高吞吐 serving,VLM-as-judge / OCR 奖励模型走 vLLM 推理,并与 rollout、训练 overlap。Qwen-Image OCR FlowGRPO 演示中,把奖励模型放到独立 GPU 可将每步 wall-clock 时间降低约 14%。



VeRL-Omni 架构

  • 代码: github.com/verl-project/verl-omni
  • 文档: verl-omni.readthedocs.io
  • vLLM 官方博客:vllm.ai/blog/verl-omni

为什么需要 VeRL-Omni

RL 已经成为把大型生成模型对齐到人类偏好与下游任务奖励的有力手段。过去一年 LLM 的 RL 训练栈飞快演进,但多模态生成 RL—— 覆盖图像 / 视频 / 音频理解与生成的扩散和全模态模型 —— 还有几个关键缺口:

  • 扩散与全模态扩展:把 verl 的灵活性和性能延伸到多模态、非自回归 RL 训练的世界,包括扩散 transformer 主干(Qwen-Image)、混合 AR-DiT 架构(Qwen-Omni)、统一理解 + 生成模型(BAGEL、HunyuanImage-3.0);
  • 异构 rollout 流水线:Rollout 是连续 latent 空间里的去噪轨迹,而不是 token 序列;单次 rollout 还可能调用多个异构模型组件、走多阶段流水线(text encoder → DiT → VAE);
  • 复杂的负载调度:多模态 RL 训练的奖励函数本身就是多模态模型(VLM judge、OCR scorer 等),多模态生成 rollout 的峰值显存又比文本生成高得多,把这些工作流编排好并不简单。

关键特性

  • 高效的多模态 rollout:集成 vLLM-Omni 的异步高吞吐多模态生成 serving,精度与 diffusers 持平。VeRL-Omni 与 vLLM-Omni 协同,通过 step-wise continuous batching、embedding caching 等持续优化 rollout 效率。
  • 灵活的奖励引擎:同时支持基于规则的奖励与基于模型的奖励(如 VLM-as-judge for OCR)。集成 vLLM 用于高效的 VLM / LLM 奖励模型推理。奖励计算与 rollout、训练流程 overlap,降低端到端延迟。
  • 模块化训练后端:提供多种 trainer(DiffusersFSDP / Megatron / VeOmni),针对扩散和全模态模型内置优化,便于接入不同并行策略(FSDP / USP / TP)。
  • 广泛的硬件兼容:同时支持 NVIDIA GPU 和昇腾 NPU,部署可在多种硬件后端之间灵活切换。
  • 端到端训练 recipe 与基准:提供参考性能结果;得益于上述特性,训练吞吐可以做得很高。

算法与模型支持




上手指南

  • 安装

详见安装文档:

https://verl-omni.readthedocs.io/en/latest/start/install.html

  • 训练扩散模型

examples 目录(https://github.com/verl-project/verl-omni/tree/main/examples)提供了不同 RL 算法 trainer 的启动脚本,覆盖图像 / 音频 / 视频理解与生成任务。训练性能与结果可以通过 wandb 跟踪。

  • Demo:Qwen-Image FlowGRPO 后训练

在 flowgrpo 示例中,团队用 OCR 奖励任务训练 Qwen-Image。奖励模型采用 Qwen3-VL-8B-Instruct,通过读取生成图像里的渲染文字、与数据集 ground truth 比对,对生成图像评分。

  • flowgrpo 示例:https://github.com/verl-project/verl-omni/tree/main/examples/flowgrpo_trainer

算法回顾



FlowGRPO 算法示意

FlowGRPO 示意

FlowGRPO 是面向 flow-matching 模型的在线策略方法。它通过 diffusion policy 模型做多步 SDE 采样以实现高效 RL 探索,并采用基于模型的奖励评估生成质量。

训练流程主要分四步:

  1. Rollout 生成:扩散 policy 模型生成样本 rollout,收集 log probability 和生成图像的轨迹。
  2. 奖励模型打分:奖励模型给每个生成样本打分,用于计算 trajectory advantage。
  3. 策略优化:用 FlowGRPO CLIP-style loss 更新策略,基于 advantage 优化奖励。
  4. 权重同步:定期把 trainer 最新的策略权重同步到 rollout worker,确保生成样本反映最新策略。

LoRA 微调

NVIDIA H800 GPU 上的训练吞吐如下:



把奖励模型放到独立 GPU 上,与策略训练 overlap,每步 wall-clock 时间降低约 14%。

全模型微调

团队还验证了 non-CFG 全模型 Qwen-Image OCR 训练,在 4×NVIDIA H200 上达到 0.510 images/GPU/s,每步约 250 s。

下面可以看到,仅 120 步训练后,生成图像的文字渲染质量已有显著提升。



下面是参考训练曲线,critic reward 与 validation reward 都收敛稳定。



完整训练指标说明见 Training Metrics 文档。

  • 文档地址:https://verl-omni.readthedocs.io/en/latest/start/metrics.html

后续路线图

VeRL-Omni 仍处于活跃迭代的预发布阶段,扩散 RL 核心栈已经稳定。路线图聚焦在扩展模型 / 算法支持,并继续推进高效多模态 RL 训练的边界。

  • 模型支持扩展:跟进开源的扩散和全模态模型,覆盖图像 / 视频 / 音频生成任务以及统一理解 + 生成任务;
  • 算法支持扩展:持续集成稳定、先进的 RL 算法(如 DiffusionNFT);
  • 全异步 RL:在 actor、rollout、reward 之间走端到端异步流水线,超出当前的异步奖励范围,进一步提升训练吞吐和 GPU/NPU 利用率;
  • 与 vLLM-Omni 协同优化:生成 rollout 在训练时间中占比很大,将通过更紧密的 vLLM-Omni 集成(并行、量化、batching、调度优化等)继续加速多模态 rollout;
  • 高效全模态 trainer:在 DiffusersFSDPTrainer 之外,计划放出更多针对全模态与扩散模型的高度优化 trainer 引擎,基于 Megatron-core 与 VeOmni;
  • 更广的硬件支持:继续打磨昇腾 NPU 路径,并通过 hardware plugin 系统欢迎更多硬件后端。

扩散和全模态 RL 后训练只是个开始。VeRL-Omni 团队正在持续支持更多架构与算法,欢迎一起塑造未来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

都市快报橙柿互动
2026-11-21 17:58:25
露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

平老师666
2026-11-21 08:49:53
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

台州交通广播
2026-11-21 10:23:13
网易号平台每日辟谣公告(十一月二十一日)

网易号平台每日辟谣公告(十一月二十一日)

网易号官方平台
2026-11-21 18:21:29
顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

东方豪侠
2026-11-21 13:27:30
俄方称克里米亚大桥铁路运输已全面恢复

俄方称克里米亚大桥铁路运输已全面恢复

每日经济新闻
2026-11-21 19:12:52
突发!惨烈!美国,股灾了!

突发!惨烈!美国,股灾了!

财经要参
2026-11-21 15:52:09
彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

林杰论事
2026-11-21 18:01:18
希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

麓谷隐士
2026-11-21 07:11:45
哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

醉卧浮生
2026-11-21 10:57:09
峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

军情观察家
2026-11-21 13:10:14
78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

念洲
2026-11-21 13:12:32
就在今天!哈登创造了80年NBA纪录

就在今天!哈登创造了80年NBA纪录

篮球大视野
2026-11-21 12:00:04
火箭主帅怒批球员:打得这么烂,你一场球都赢不了

火箭主帅怒批球员:打得这么烂,你一场球都赢不了

体坛周报
2026-11-21 17:34:09
在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

快科技
2026-11-21 18:44:08
普京向乌克兰军人“喊话”

普京向乌克兰军人“喊话”

参考消息
2026-11-21 15:58:07
确定了,是亲姐妹!女生刷视频刷到“另一个自己”,竟是失散20年的双胞胎姐妹,DNA鉴定显示二人确有血缘关系

确定了,是亲姐妹!女生刷视频刷到“另一个自己”,竟是失散20年的双胞胎姐妹,DNA鉴定显示二人确有血缘关系

极目新闻
2026-11-21 19:38:23
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

政知新媒体
2026-11-21 10:17:31
深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

贵重物品爱美食
2026-11-19 22:17:48
2026-11-21 23:31:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
教育
时尚
公开课
军事航空

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版