网易首页 > 网易号 > 正文 申请入驻

上交大提出LatentUM:UnifiedModel真正战场在视觉推理与世界模型

0
分享至

本文作者团队来自上海交通大学 DENG Lab 与清华大学、加州大学圣地亚哥分校(UCSD)。该研究由博士生金佳纯、准博士生周泽同共同完成,指导教师为邓志杰、朱军、刘鹏飞、张昊、杨啸老师。DENG Lab 隶属上海交通大学,致力于高效、跨模态生成模型的研究。

过去一段时间,生成理解统一模型(Unified Model)经常被理解成一种「既能看懂图、又能生成图」的多模态通用系统。

但如果统一模型的价值只停留在「会看会画」,那它和把 VLM、T2I 简单拼在一起并没有本质区别。真正更值得追问的问题是:模型能不能把自己生成出的视觉内容直接纳入推理闭环,让图像不只是输出结果,而是推理、规划乃至世界建模过程中的中间思维状态?

近期,上海交通大学 DENG Lab 提出的 LatentUM尝试去回答上述问题。

从结果上看,这条路线确实带来了实际性能收益:LatentUM 在 GenEval 上最高达到 0.92,在 Visual Spatial Planning 任务上准确率最高达到 0.99,在导航世界模型任务上,LatentUM 在 NWM 评测上取得 ATE 1.34、RPE 0.34,超过近期 Transfusion-RAE 等统一世界模型基线。

这说明,共享语义 latent space 并不只是一个更「统一」的建模方案,它确实有机会把视觉生成变成推理与建模过程中的有效中间变量。

  • 论文地址:https://arxiv.org/pdf/2604.02097
  • 代码地址:https://github.com/SJTU-DENG-Lab/LatentUM
  • 模型仓库:https://huggingface.co/collections/SJTU-DENG-Lab/latentum

重新思考 Unified Model 的价值与存在的问题

现有多数生成理解统一模型 (Unified Model) 的目标,仍然停留在打造一个「能看又能画」的多模态六边形战士,但它们往往在理解和生成两端都不及最好的 specific model。

LatentUM 想推动大家重新思考这个方向的目标函数:Unified Model 的真正潜力,并不只是把视觉理解和视觉生成装进同一个框架里,而是在模态交错生成中把生成出的视觉内容真正纳入 reasoning loop,形成 cross-modal chain-of-thought,进一步服务于复杂视觉推理、规划乃至世界建模。

换句话说,Unified Model 最值得做的事,是让模型在推理过程中真的把图像当作中间思维载体来使用,而不是把「会看会画」本身当作终点。

图 1:LatentUM 在带有自我反思的文生图任务、视觉空间规划任务、世界建模任务上都超越了基线模型。

基于这一观察,LatentUM 给出的核心思路是:不再让视觉生成服务于像素空间,而是让模型直接生成与语言共享语义空间的离散 visual semantic tokens。这样一来,模型生成出来的视觉内容,就可以被模型自己直接读取、继续推理,而不必再经过「像素中转」。

换句话说,LatentUM 想实现的,不是一个简单把理解和生成拼在一起的 Unified Model,而是一个真正基于 shared semantic latent space 运作的 latent-space unified model。

当前大部分 Unified Model 通常把理解和生成建立在两套不同的视觉表示上:理解侧使用与语言对齐的语义特征,生成侧使用面向像素重建的 VAE 特征。结果就是,模型一旦想基于自己生成的图继续思考,就不得不先把生成特征解码成像素,再重新编码回理解特征。这个过程不仅低效,也会引入额外的 codec bias,造成跨模态错位,限制图文交错推理能力。

也正因为如此,很多现有统一模型虽然「既能看又能画」,但在真正需要视觉中间态参与推理的任务上,并没有把 unified 的优势发挥出来。

LatentUM 的模型设计

图 2:LatentUM 架构的三个关键设计。

围绕这一目标,LatentUM 主要包含三个关键设计。

首先是 Model Behavior Aligned Quantization(MBAQ)。由于连续语义特征维度高,难以直接进行生成建模。LatentUM 选择先将其量化为可自回归预测的离散 visual semantic tokens。传统视觉离散化方法通常追求还原像素或原始特征,但对 Unified Model 来说,更关键的是量化后的 token 能否继续支撑视觉理解与语言推理。

因此,MBAQ 不是优化重建误差,而是让量化后的视觉特征尽可能保留原始视觉特征所对应的 VLM 的理解行为。

这意味着量化器会优先保留那些真正影响视觉理解结果的语义信息,主动舍弃对预测贡献有限的低层像素细节。相比关注特征还原,MBAQ 更关注量化后的 token 是否仍然能够支持原有的视觉问答与语言推理能力。

这对于 Unified Model 尤其关键,因为只有当生成出的 visual token 仍然能够被模型自己稳定理解时,它们才能真正作为中间思维状态参与后续的跨模态推理。

第二是 Mixture-of-Modal Experts(MoME)。统一建模并不意味着所有模态都必须完全走同一套参数路径。为降低视觉理解与视觉生成之间的训练干扰,LatentUM 将理解和生成分成两条并行分支,它们共享 self-attention,但在其余部分适度解耦。

这样既保留图文之间的信息流动,也减少了不同目标之间的负迁移。虽然生成理解两套参数解耦,但模型生成的视觉 token 可以重新被理解分支直接读取并缓存进上下文,从而继续参与后续推理。

第三是 Decoupled Pixel Decoder。虽然 LatentUM 的离散语义特征不再围绕像素重建来训练,但作者们发现离散语义特征中仍然保有大部分的像素信息,可以通过一个独立的 diffusion decoder 将其恢复成像素。

这样一来,像素空间在 LatentUM 中不再是内部推理的必经桥梁,而只是一个按需调用的可视化接口,从而避免模型为了像素保真而牺牲统一语义空间本身的表达能力。

实验结果

基于上述设计,论文实现了 LatentUM-Base。模型以 InternVL3.5-4B 为初始化底座,直接继承其成熟的视觉理解能力,并在图文数据上进行训练来补足视觉生成分支,总训练成本大约是 6000 GPU hours。

实验结果首先验证了这种 shared semantic latent space 不会显著损害视觉理解能力。论文在多项理解基准上评估 LatentUM-Base,发现当输入图像被量化成离散语义 token 后,视觉理解的能力依旧在线。

这说明MBAQ 学到的 token 并不是简单压缩结果,而是真的保留了足够支撑视觉理解的语义结构。

图 3:LatentUM-Base 的视觉理解能力与基线方法的对比。

在视觉生成方面,得益于视觉 token 的语义对齐,LatentUM-Base 同样展现出了很强的 instruction-following 能力。在 GenEval 上,LatentUM-Base 达到 0.85,已经超过大多数已有 Unified Model,而且这一结果是在相对有限的数据规模下取得的。

这说明共享语义空间让模型更容易把文本条件中的语义约束真正落实到视觉 token 上。

图 4:LatentUM-Base 的文生图样例展示。

除了基本的 text-to-image generation,LatentUM 还能利用自己的理解能力反过来提升生成。

论文在 post-training 阶段探索了 generate-then-reflect 的范式:先生成,再让模型基于自己的理解分支对结果做「自检」,并通过强化学习进一步优化。仅基于自我理解 reward,LatentUM-Vis-Gen 在 GenEval 上从 0.85 提升到 0.87;如果进一步使用外部 pixel-level reward,最终可以达到 0.92,在统一模型中取得新的最好结果。

在更强调语义判断稳健性的 GenEval2 上,LatentUM 也显著领先已有 Unified Model。

图 5:LatentUM 在 GenEval bench 上超越了 Unified Model 的基线。

为了验证共享语义 latent space 是否真的能支撑复杂的图文交错推理,论文进一步在 Visual Spatial Planning 任务上做了系统评测。

这个任务要求模型在迷宫环境中进行规划,不仅要读懂当前视觉状态,还要在推理过程中基于采取的 action 持续更新下一个未来状态。

结果上,LatentUM-Vis-Plan 在粗粒度中间状态的设定下平均准确率达到 0.85,在细粒度中间状态的逐步交错推理的设定下达到 0.99,显著超过 ThinkMorph 等需要经过像素空间中转的方法。

这说明,如果视觉内容本身就处在统一语义空间里,那么「边想边看、边看边想」并不是概念展示,而是可以带来性能增益的实际能力。

LatentUM 在 VSP 任务上的 demo。

图 6:LatentUM 在 Visual Spatial Planning bench 上大幅超越了各类跨模态推理基线。

最后,论文还进一步探索了 LatentUM 在 world modeling 中的潜力。

在导航世界模型设定下,LatentUM-WM 在 NWM 评测上取得 ATE 1.34、RPE 0.34,超过了近期 Transfusion-RAE 这类统一世界模型基线。

这说明shared semantic latent space 也许不仅是连接理解和生成的一种方法,也可能是连接推理与世界建模的一条自然路径。

LatentUM 在 navigation world modeling 任务上的 demo。

从更大的角度看,LatentUM 想推动大家重新思考 Unified Model 的目标。它不应该只是把「看」和「画」放进同一个模型里,而应该成为一个能够在共享语义空间中进行交错生成、反思、规划与预测的通用多模态系统。

对 Unified Model 来说,真正重要的,也许从来不是「既会看又会画」,而是能不能在共享语义空间中用各种模态持续地生成、推理。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
真是没想到!WTT香港总决赛名单出炉仅1夜,令人恶心的事情接连发生,原来当年樊振东果然没说错,吃相太难看

真是没想到!WTT香港总决赛名单出炉仅1夜,令人恶心的事情接连发生,原来当年樊振东果然没说错,吃相太难看

篮球热嗖
2026-11-19 14:35:46
说实话,俄罗斯对中国最关键的贡献,就是使整个西方对中国产生了误判——由此带来的战略误判和格局变化,值得深入思考

说实话,俄罗斯对中国最关键的贡献,就是使整个西方对中国产生了误判——由此带来的战略误判和格局变化,值得深入思考

z千年历史老号
2026-11-10 19:00:35
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

扶苏聊历史
2026-10-30 14:34:51
台湾和上海都是 2000 多万人口,上半年台湾 GDP3.48 万亿,上海多少

台湾和上海都是 2000 多万人口,上半年台湾 GDP3.48 万亿,上海多少

抽象派大师
2026-09-20 16:57:21
越南博主骄傲:街头看不到中国车!网友:看看销冠VinFast的底子是谁造的

越南博主骄傲:街头看不到中国车!网友:看看销冠VinFast的底子是谁造的

看晓天下事
2026-11-03 16:15:03
女人坐了28年牢,出狱去办证,民警一查系统,当场愣了

女人坐了28年牢,出狱去办证,民警一查系统,当场愣了

卡西莫多的故事
2025-10-30 11:33:46
赚了4850元!美股冲高大跳水!A股明天有危险?

赚了4850元!美股冲高大跳水!A股明天有危险?

龙行天下虎
2026-11-20 00:04:20
大反转!特朗普的政治生涯名存实亡,鲁比奥已经开始收割2028!

大反转!特朗普的政治生涯名存实亡,鲁比奥已经开始收割2028!

海阔山遥YAO
2026-11-19 21:40:01
历史性一幕出现!美专家说了句实话,中美俄谈妥了,世界也稳定了

历史性一幕出现!美专家说了句实话,中美俄谈妥了,世界也稳定了

讲者普拉斯
2026-11-19 22:37:46
原来我们身边藏着这么多暴利行业?网友:20多分钟1000多就没了

原来我们身边藏着这么多暴利行业?网友:20多分钟1000多就没了

夜深爱杂谈
2026-10-29 21:47:09
全民化债的时代来了

全民化债的时代来了

细说职场
2026-11-19 16:44:30
比销量下滑还可怕的是:连生活在县城的居民,都开始抛弃了油车?

比销量下滑还可怕的是:连生活在县城的居民,都开始抛弃了油车?

云霄纪史观
2026-10-29 03:03:59
克里米亚大桥再次遭袭,列车暂停通行

克里米亚大桥再次遭袭,列车暂停通行

澎湃新闻
2026-11-19 16:19:04
湖人爆大冷!NBA最新排名:火箭稳居第3,雷霆跌至第8,太阳或成最大黑马

湖人爆大冷!NBA最新排名:火箭稳居第3,雷霆跌至第8,太阳或成最大黑马

体育就你秀
2026-11-20 02:55:05
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
72年我娶了27岁苏联女兵,同房时她喜欢我用力往深处顶说好生儿子。她生下3胞胎后回国从此失联,23年后我收到一个箱子,拆开我当场瘫软倒地

72年我娶了27岁苏联女兵,同房时她喜欢我用力往深处顶说好生儿子。她生下3胞胎后回国从此失联,23年后我收到一个箱子,拆开我当场瘫软倒地

故事情感屋
2026-11-19 17:58:56
中俄美元首和平宣言

中俄美元首和平宣言

澎湃新闻
2026-11-19 19:09:21
又输球了,单核真带不动啊!悔啊!5个此轮有什么用呢……

又输球了,单核真带不动啊!悔啊!5个此轮有什么用呢……

体育新角度
2026-11-19 15:55:55
我的个老天,这真就是53岁的木村拓哉

我的个老天,这真就是53岁的木村拓哉

西楼知趣杂谈
2026-10-19 21:59:16
2026-11-20 03:55:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
时尚
数码
游戏
公开课

房产要闻

6.6亿!海口卖地!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

PC Gamer试玩GTA6百小时:双主角出色但任务重复

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版