网易首页 > 网易号 > 正文 申请入驻

不做Token化,也不搞双系统!多模态模型有了第三条路

0
分享至



走向物理 AI 时代,构建一个能真正统一语言与视觉的多模态基座模型是关键一步。然而,语言本质上是有序的 Token 序列,视觉则是连续的高维像素分布,两者在信息结构上存在天然的鸿沟。如何在一个模型内统一这两种截然不同的分布,一直是一个备受争论的话题。

目前,主流的解法主要有两条。一条是全离散路线(如 Chameleon、Emu3),它把图像也量化成离散 Token,与语言拼在一起做自回归建模。但这种方法受限于视觉 Tokenizer,图像的高频细节在量化过程中极易丢失。另一条是混合离散 - 连续路线(如 Transfusion、JanusFlow),文本走离散预测,图像走连续扩散。虽然避开了量化瓶颈,但一个模型里得同时维护两套截然不同的目标函数和采样流程,不仅工程实现复杂,联合优化的难度也很大。

既然两条路都有妥协,有没有第三种解法?

近日,华中科技大学王兴刚团队与地平线机器人等机构合作,提出了Multimodal Flow,给出了第三条路线:全连续。在这个架构下,语言和视觉各自保留在原有的连续嵌入空间中,但共享同一个 Flow Matching 目标。这意味着,模型无需强行将视觉翻译成语言,也不用维护割裂的两套系统,仅用一个 Flow 模型就能统一建模两者的联合分布。实验表明,Multimodal Flow 不仅展现出了强大的多模态泛化能力,混合预训练阶段学到的知识也能高效迁移至下游任务;在同等数据与参数预算的受控对比中,它的表现更是全面超越了混合式和全离散架构。





  • 论文标题:MULTIMODAL FLOW: UNIFIED FLOW MODELING OF LANGUAGE AND VISION IN EMBEDDING SPACES
  • 论文地址:https://arxiv.org/pdf/2609.40362
  • 开源代码:https://github.com/hustvl/Multimodal-Flow
  • 项目主页:https://hustvl.github.io/Multimodal-Flow

1.6B 模型,展现了什么信息

在谈理念之前,我们先看干货数据。团队实例化了主模型MF-1,仅有 1.6B 参数,并且是从零开始预训练,仅消耗了 150B Tokens。相比当前动辄上万亿 Token 的大模型,这个数据量相当克制,但成绩却十分亮眼。

在文本生图方面,MF-1 在 GenEval 综合得分上拿到了0.821,DPG-Bench 长提示词对齐得分为83.44。尤其在 GenEval 的 Counting(计数)维度上,它达到了 0.73,大幅领先同等规模的统一模型。而在多模态理解方面,它的 VQAv2 得分 72.6,MMBench 得分 67.2,POPE 得分 86.1,三项平均得分达到75.3,甚至超越了部分用预训练 LLM 初始化的同体量模型。

更重要的是,在同等数据、同等参数预算、同等优化配置的受控对比下,Multimodal Flow 在 GenEval、GQA、VQAv2、MMBench 等各项指标上,全面超越了 Transfusion 式的混合架构和 Chameleon 式的全离散架构。这说明全连续架构并非为了不同而不同,它是实打实能打的新范式。



如何把语言和视觉放进同一个 “流” 里?



既然成绩这么好,那这套全连续架构究竟是怎么运转的?核心在于他们提出的超块(Hyperchunk)设计。

既然语言和视觉的结构不同,团队干脆让它们各自保留原生形态。文本被划分为每 8 个 Token 一块,经过冻结的 T5-small 编码器变成连续的文本超块;图像则经过冻结的 SigLIP2 编码器,提取出 16×16 的空间网格特征,变成一个视觉超块。这些超块按照任务设定的顺序排成一条多模态序列,直接送入共享的Chunk-Causal Flow 骨干网络。

这个骨干网络的设计非常巧妙。在注意力机制上,它采用了 Chunk-Causal 掩码:当模型在预测第 k 个超块时,前面的所有超块是完全可见的,当前超块内部的位置联合建模,而未来的超块则被遮蔽。这既保证了因果性,又允许当前块内的信息充分交互。与此同时,网络在计算时采用了 “联合注意力 + 模态特定 FFN” 的混合策略:注意力层共享,以促成语言和视觉的跨模态交互;而 FFN 层则保持独立,因为语言和视觉的表示统计差异太大,强行共享反而会适得其反(论文消融实验也证实了这一点)。

在训练和推理机制上,这套架构也展现出了极高的效率。训练时,模型可以同时并行预测多个目标超块,每个超块独立采样 Flow 时间步;而在推理时,则按顺序逐块生成,已完成生成的超块 KV 缓存会被直接复用,大大加速了生成过程。

这套设计带来的一个非常优雅的结果是:只要改变超块的排列顺序和目标方向,同一套网络参数就能无缝切换任务。 无论是纯文本生成、文生图、图生文,还是 VQA,都可以被统一表达为 “超块序列的条件生成”。任务定义和生成建模在这一刻被彻底解耦了。



混合预训练:全连续架构的基座价值

既然选择了从零预训练,团队自然要验证多模态混合预训练的实际价值。首先看规模扩展(Scaling)。团队训练了 0.6B、1.2B 和 1.6B 三个尺寸的模型,在相同的混合预训练协议下观察它们的演进轨迹(Figure 4)。结果展现出了健康的初步扩展趋势:随着模型变大、训练步数增加,Flow Matching 的目标损失和语言建模的困惑度(PPL)都在稳定下降;与此同时,文生图的 GenEval 和图生文的 CLIPScore 指标则在稳步上升。特别是 1.6B 模型,在训练后期展现出了最强的综合性能。



再看迁移,他们对比了 “随机初始化直接下游微调” 和 “先混合预训练再微调” 两个模型。结果很显著:GenEval 从 0.527 提升至 0.821,SEED-Bench 从 31.6 跃升至 62.4,MMBench 从 36.0 提升到 67.2。



这组数据有力地证明了,在统一的 Flow Matching 目标下,模型在混合预训练阶段所习得的文本、图像、图文对联合表示,能够高效地迁移到下游任务中。Multimodal Flow 不仅仅是一个多模态生成器,它更展现出了作为一个优秀多模态预训练底座的巨大潜力。

消融实验里的两个发现

在验证设计合理性的过程中,团队做了大量细致的消融实验,其中有两点发现非常值得关注。

第一,模型到底需要什么样的视觉表示?团队对比了 SigLIP2、DINOv2 这类语义特征,以及 FLUX.2 VAE、SD-VAE 潜变量和原始像素。结果是,在相同的训练预算下,SigLIP2 和 DINOv2 在生成和描述任务上整体表现更好,而面向重建的 VAE 潜变量反而落了下风。这给未来的多模态生成提供了一个重要暗示:对于统一生成模型而言,富含语义的特征往往比单纯的像素重建保真度更重要。

第二,同一个 CFG 可以双向生效。传统上,Classifier-Free Guidance(CFG)主要用在视觉生成里。但得益于统一的 Flow Matching 目标,Multimodal Flow 里的同一个 CFG 机制可以同时作用于文本和图像。实验表明,图生文任务的最佳 Guidance Scale 在 3 左右,文生图任务在 5 左右。一套机制,双向引导,再次印证了全连续共享生成过程的简洁与通用。



更简单的模态,更长远的未来

Multimodal Flow 和 MF-1 展现了一种可能:我们不需要把视觉强行翻译成语言,也不需要维护两套割裂的生成目标。在连续的嵌入空间里,语言和视觉可以用同样的动力学系统来建模,同时保留各自的结构特性。

目前的 1.6B 模型和 150B Tokens 只是一个起点。作者在结论中也指出,未来将把该框架扩展到更长的交错图文序列、视频以及其他结构化模态,连续统一多模态模型的想象空间,或许才刚刚打开。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
两架出逃的重型运输机被叙利亚收回

两架出逃的重型运输机被叙利亚收回

窗帘拉开
2026-11-19 16:20:59
波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

罗米的曼联博客
2026-11-19 06:46:58
北京大学硕士因本科不是北大也非双一流,年薪从40万降至35万

北京大学硕士因本科不是北大也非双一流,年薪从40万降至35万

雪峰说法
2026-11-19 09:00:13
中国造不出高端发动机?日企拆开红旗车,发现中国已走在时代前面

中国造不出高端发动机?日企拆开红旗车,发现中国已走在时代前面

云居历史
2026-11-17 03:24:00
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
深圳夜晚街头,特朗普在车内未拉窗帘,沉浸式欣赏深圳夜景!

深圳夜晚街头,特朗普在车内未拉窗帘,沉浸式欣赏深圳夜景!

极目新闻
2026-11-19 17:03:50
全球石油市场突然反转

全球石油市场突然反转

陆弃
2026-11-19 11:14:48
兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

大风新闻
2026-11-18 14:36:05
3700美元也破了!现货黄金创去年9月以来新低,国内金饰价格连跌8天,多家品牌回撤超三成丨金银价格

3700美元也破了!现货黄金创去年9月以来新低,国内金饰价格连跌8天,多家品牌回撤超三成丨金银价格

每日经济新闻
2026-11-19 11:50:19
终于有人替超2亿灵活就业者说话了!人大代表提出:缴费年限守住15年、女性50岁男性60岁退休、生活困难可退个人缴费、到龄不够允许补缴

终于有人替超2亿灵活就业者说话了!人大代表提出:缴费年限守住15年、女性50岁男性60岁退休、生活困难可退个人缴费、到龄不够允许补缴

扶苏聊历史
2026-09-09 18:28:50
局势彻底反转!中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线。掀起舆论广泛热议

局势彻底反转!中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线。掀起舆论广泛热议

唠叨说历史
2026-11-16 10:48:16
德国又一百年工业集团破产,震动全球制造业

德国又一百年工业集团破产,震动全球制造业

起点财经
2026-11-19 11:38:23
陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

露珠聊影视
2026-11-18 14:36:57
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
印度打不赢巴基斯坦是因为后面有个中国,俄罗斯打不赢乌克兰是因为后面有个欧洲,美以联军打不赢伊朗是因为什么呢?

印度打不赢巴基斯坦是因为后面有个中国,俄罗斯打不赢乌克兰是因为后面有个欧洲,美以联军打不赢伊朗是因为什么呢?

扶苏聊历史
2026-10-06 11:41:05
售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

邻居的小蜘蛛
2026-11-17 16:27:34
观音手持火枪?这张"穿越P图"竟是雍正年间真迹

观音手持火枪?这张"穿越P图"竟是雍正年间真迹

砚田文化
2026-10-29 07:49:02
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
保研举报这事,也太窒息了

保研举报这事,也太窒息了

雷斯林
2026-11-18 20:27:35
普京背后高人浮出水面,俄罗斯的灵魂人物,若没她普京难撑到现在

普京背后高人浮出水面,俄罗斯的灵魂人物,若没她普京难撑到现在

文史达观
2025-03-05 06:45:05
2026-11-19 21:03:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

外媒问"中日领导人APEC期间是否将举行会晤" 中方回应

头条要闻

外媒问"中日领导人APEC期间是否将举行会晤" 中方回应

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

华境S五座版亮相 标配华为乾崑科技和宁德时代电芯

态度原创

亲子
手机
旅游
公开课
军事航空

亲子要闻

生孩子就是为了玩

手机要闻

MagicOS 11第三批内测今晚推送!荣耀Robot Phone等28款机型终于等到了

旅游要闻

深耕秋假市场,激活业态动能 ,六安金秋文旅升温见效

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版