网易首页 > 网易号 > 正文 申请入驻

赋予视频生成「视觉思维链」:VChain显式建模时空规划与状态演变

0
分享至



当视频生成模型在视觉保真度上不断突破时,一个核心瓶颈正变得愈发清晰:模型是否真正理解了真实世界?能否推理出合理的演变过程?

在具身智能、影视制作以及物理仿真等应用场景中,要求模型不仅要生成 “平滑的像素”,更要实现 “逻辑连贯的演化”。这种对物理规律与因果关系的建模能力,是当前基于大数据驱动的端到端生成模型面临的长期挑战。

那么,我们能否将多模态大模型(MLLM)的推理能力,作为一种 “外脑” 注入到视频生成过程中呢?

来自南洋理工大学(NTU)的研究团队在ACL 2026 (Findings)发表了VChain。这一框架试图将大型多模态模型(如 GPT-4o)的视觉推理能力引入视频生成,以提升视频在逻辑与物理规律上的连贯性。



  • 论文: VChain: Chain-of-Visual-Thought for Reasoning in Video Generation
  • 作者:黄子琪 (Ziqi Huang), 于宁 (Ning Yu), Gordon Chen, 邱浩楠 (Haonan Qiu), Paul Debevec, 刘子纬 (Ziwei Liu)
  • 论文地址: https://arxiv.org/abs/2510.05094
  • 项目主页: https://eyeline-labs.github.io/VChain

背景

视频生成的 “常识缺失”

现有的视频生成模型往往表现出一种 “物理不及格” 的状态:球可以反物理地滚动,羽毛可能比石头下落得更快。原因在于,目前的模型擅长模仿 “样子”(视觉模式),却不懂 “道理”(物理因果)。

虽然 GPT-4o 等多模态大模型在视觉推理上表现出色,但直接生成视频成本极高。VChain 的核心思路是 “让专业的人做专业的事”:引入一个在推理阶段工作的框架,利用 LMM 进行逻辑推演,转而 “指导” 视频模型进行创作。



为了解决这个问题,研究者们提出了VChain,一个在推理阶段工作的框架,VChain 的核心思路是 “让专业的人做专业的事”:利用 LMM 进行逻辑推演,转而指导视频模型进行内容创作。

方法

三步走的 VChain 框架 - “视觉思维链”

VChain 的实现流程非常优雅,主要分为三个阶段,全部在推理时完成,无需对视频模型进行重新训练,非常高效。



1. 视觉思维推理 (Visual Thought Reasoning)

面对 “将浓硫酸倒在木桌上” 这类指令,VChain 首先调用 LMM 进行 “头脑风暴”,推演事件的因果链并生成关键图像帧。这些帧被称为 “视觉思维链 (Chain of Visual Thoughts)”,它将抽象逻辑转化为具体的视觉步骤。

这个过程是迭代的,LMM 会一步步地思考:“首先,一杯硫酸在桌子上方;然后,硫酸开始倾倒;接着,液体接触到桌面;最后,桌面被腐蚀变黑。” 并为每一步生成对应的图像。



2. 推理时稀疏调优 (Sparse Inference-Time Visual-State Adaptation)

有了这些包含逻辑关系的关键帧(视觉思维)后,VChain 并不会用它们来生成所有视频帧。相反,它只在这些 “关键时刻” 对预训练好的视频生成器进行微调。

具体来说,它将这些关键帧和对应的文本描述配对,作为稀疏的监督信号,通过 LoRA 高效地调整视频生成模型的参数。这种方式只在几个关键点上进行 “校准”,大大降低了计算开销。

3. 视频采样 (Video Sampling)

经过稀疏调优后,视频生成模型就领会了整个事件的 “大纲”。最后,VChain 将所有步骤的文本描述连接成一个完整的长提示,输入给调优后的模型,从而生成一个连贯、流畅且符合逻辑的完整视频。

实验效果

从 “貌合神离” 到 “形神兼备”

那么,VChain 的效果究竟如何呢?

在定性对比中,我们可以看到,对于 “保龄球撞击球瓶” 这个场景,现有模型生成的视频中,球瓶几乎不动或只是轻微抖动,完全没有发生真实的碰撞。而经过提示增强后,虽然有了互动,但动态效果非常不自然,甚至出现了伪影。

相比之下,如果给同样的模型加上 VChain 框架,生成的视频则完全符合物理规律:球以合理的力量撞击球瓶,球瓶被击倒的过程连贯且真实。物体的几何形状和材质在整个过程中都保持得很好。



在定量评估中,VChain 在各项指标上也达到或超过了现有方法。在针对物理规律、常识推理及因果逻辑的专项测评中,VChain 显著优于现有方法。



研究者们还通过消融实验证明了 VChain 每个组成部分的重要性。如果去掉 “视觉思维”,模型虽然知道要生成第一人称视角的视频,但无法捕捉到正确的 “接球” 视觉模式。如果去掉 “稀疏调优”,直接用关键帧进行插值,则会导致严重的图像扭曲和伪影。只有将两者结合,才能得到最连贯、最真实的结果。



VChain 巧妙的地方在于它是一种 “即插即用” 的推理时框架,它没有去大动干戈地训练一个全新的视频模型,也不依赖额外的数据,而是通过 “LMM” 赋能;这为未来多模态模型的协同工作提供了一个范例。

深度思考

视频生成范式的 “推理革命”

基于论文附录的探讨,VChain 展示了视频推理与生成的两种潜在趋势:

1. 从 “语义指引” 到 “具象视觉推理” 的跨越

过去的研究多依赖 LLM 生成文字脚本或简单的布局信息。然而,文本在传达 “复杂的物理形变” 时存在表达盲区。

VChain 证明了:对于视频生成任务,推理过程也需要 “去符号化” 并直接进入视觉空间。 只有通过具备空间与材质约束的图像锚点,才能有效修正生成器内心错误的物理先验,实现逻辑与像素的统一。

2. 推理者 - 渲染者 (Reasoner-Renderer)” 协作新范式

VChain 提出了一种模块化的协作路径,将复杂的逻辑判断(由 MLLM,也就是 Reasoner 来完成)与底层的视觉渲染(由扩散变压器架构,或者更广义的 Renderer 来完成)进行解耦。

当视频生成逐渐被视为 “世界模型” 的一种实现形式,我们不应只满足于画面的精美。只要多模态大模型的常识以及逻辑推理能力上限依然高于视觉生成模型,这种将推理能力引导至生成过程的范式,就为未来多模态模型的协同工作提供了一个可参考的方向。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

浯江孤舟
2026-08-31 10:07:56
“深圳人全妆出街迎APEC”,冲上热搜

“深圳人全妆出街迎APEC”,冲上热搜

极目新闻
2026-11-18 10:22:19
APEC现场|普京点赞亚洲国家跨越式发展,乐观期待中俄美元首会晤

APEC现场|普京点赞亚洲国家跨越式发展,乐观期待中俄美元首会晤

澎湃新闻
2026-11-18 15:54:40
如果你是黄仁勋,这三个女人会选谁?

如果你是黄仁勋,这三个女人会选谁?

仕道
2026-11-18 14:14:20
北京女网红晒豪宅,“天宫一角”露出国宝级名画,账号已被禁止发布作品

北京女网红晒豪宅,“天宫一角”露出国宝级名画,账号已被禁止发布作品

娱乐E君
2026-11-17 17:34:36
大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

兴趣知识
2026-11-18 02:59:02
纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

果妈聊娱乐
2026-11-17 11:39:05
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

极目新闻
2026-11-18 10:24:16
太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

南海浪花
2026-11-18 11:34:45
袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

袁家军在全市卫生与健康大会上强调 坚定实施健康优先发展战略 加快推动卫生与健康事业高质量发展 陈新武主持 程丽华出席

上游新闻
2026-11-18 18:26:06
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
杀回英伟达,黄仁勋要先干掉董事会

杀回英伟达,黄仁勋要先干掉董事会

起点人文
2026-11-18 17:16:37
APEC还没开幕,深圳的饭菜先火了,一群老外齐齐用起了筷子!

APEC还没开幕,深圳的饭菜先火了,一群老外齐齐用起了筷子!

讲者普拉斯
2026-11-18 11:01:12
开心到拍大腿,排面拉满特朗普非常高兴,简直是超高规格接待

开心到拍大腿,排面拉满特朗普非常高兴,简直是超高规格接待

三叔的装备空间
2026-11-18 19:28:04
忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

锐评利物浦
2026-11-18 10:15:40
兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

大风新闻
2026-11-18 14:36:05
老艺术家斯琴高娃辞世,丈夫身份揭晓,佳作众多,竟哭错坟了

老艺术家斯琴高娃辞世,丈夫身份揭晓,佳作众多,竟哭错坟了

橙星文娱
2026-11-18 17:46:20
无锡市委书记蒋锋,添新职

无锡市委书记蒋锋,添新职

上观新闻
2026-11-18 18:51:23
央视又翻车了?

央视又翻车了?

亮见
2026-11-18 15:04:54
2026-11-18 21:00:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
游戏
家居
艺术
军事航空

教育要闻

孩子厌学三个原因打通一点就愿上学

新西兰旅游局官方调侃:最早玩上《GTA6》的地区

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版