网易首页 > 网易号 > 正文 申请入驻

赋予视频生成「视觉思维链」:VChain显式建模时空规划与状态演变

0
分享至



当视频生成模型在视觉保真度上不断突破时,一个核心瓶颈正变得愈发清晰:模型是否真正理解了真实世界?能否推理出合理的演变过程?

在具身智能、影视制作以及物理仿真等应用场景中,要求模型不仅要生成 “平滑的像素”,更要实现 “逻辑连贯的演化”。这种对物理规律与因果关系的建模能力,是当前基于大数据驱动的端到端生成模型面临的长期挑战。

那么,我们能否将多模态大模型(MLLM)的推理能力,作为一种 “外脑” 注入到视频生成过程中呢?

来自南洋理工大学(NTU)的研究团队在ACL 2026 (Findings)发表了VChain。这一框架试图将大型多模态模型(如 GPT-4o)的视觉推理能力引入视频生成,以提升视频在逻辑与物理规律上的连贯性。



  • 论文: VChain: Chain-of-Visual-Thought for Reasoning in Video Generation
  • 作者:黄子琪 (Ziqi Huang), 于宁 (Ning Yu), Gordon Chen, 邱浩楠 (Haonan Qiu), Paul Debevec, 刘子纬 (Ziwei Liu)
  • 论文地址: https://arxiv.org/abs/2510.05094
  • 项目主页: https://eyeline-labs.github.io/VChain

背景

视频生成的 “常识缺失”

现有的视频生成模型往往表现出一种 “物理不及格” 的状态:球可以反物理地滚动,羽毛可能比石头下落得更快。原因在于,目前的模型擅长模仿 “样子”(视觉模式),却不懂 “道理”(物理因果)。

虽然 GPT-4o 等多模态大模型在视觉推理上表现出色,但直接生成视频成本极高。VChain 的核心思路是 “让专业的人做专业的事”:引入一个在推理阶段工作的框架,利用 LMM 进行逻辑推演,转而 “指导” 视频模型进行创作。



为了解决这个问题,研究者们提出了VChain,一个在推理阶段工作的框架,VChain 的核心思路是 “让专业的人做专业的事”:利用 LMM 进行逻辑推演,转而指导视频模型进行内容创作。

方法

三步走的 VChain 框架 - “视觉思维链”

VChain 的实现流程非常优雅,主要分为三个阶段,全部在推理时完成,无需对视频模型进行重新训练,非常高效。



1. 视觉思维推理 (Visual Thought Reasoning)

面对 “将浓硫酸倒在木桌上” 这类指令,VChain 首先调用 LMM 进行 “头脑风暴”,推演事件的因果链并生成关键图像帧。这些帧被称为 “视觉思维链 (Chain of Visual Thoughts)”,它将抽象逻辑转化为具体的视觉步骤。

这个过程是迭代的,LMM 会一步步地思考:“首先,一杯硫酸在桌子上方;然后,硫酸开始倾倒;接着,液体接触到桌面;最后,桌面被腐蚀变黑。” 并为每一步生成对应的图像。



2. 推理时稀疏调优 (Sparse Inference-Time Visual-State Adaptation)

有了这些包含逻辑关系的关键帧(视觉思维)后,VChain 并不会用它们来生成所有视频帧。相反,它只在这些 “关键时刻” 对预训练好的视频生成器进行微调。

具体来说,它将这些关键帧和对应的文本描述配对,作为稀疏的监督信号,通过 LoRA 高效地调整视频生成模型的参数。这种方式只在几个关键点上进行 “校准”,大大降低了计算开销。

3. 视频采样 (Video Sampling)

经过稀疏调优后,视频生成模型就领会了整个事件的 “大纲”。最后,VChain 将所有步骤的文本描述连接成一个完整的长提示,输入给调优后的模型,从而生成一个连贯、流畅且符合逻辑的完整视频。

实验效果

从 “貌合神离” 到 “形神兼备”

那么,VChain 的效果究竟如何呢?

在定性对比中,我们可以看到,对于 “保龄球撞击球瓶” 这个场景,现有模型生成的视频中,球瓶几乎不动或只是轻微抖动,完全没有发生真实的碰撞。而经过提示增强后,虽然有了互动,但动态效果非常不自然,甚至出现了伪影。

相比之下,如果给同样的模型加上 VChain 框架,生成的视频则完全符合物理规律:球以合理的力量撞击球瓶,球瓶被击倒的过程连贯且真实。物体的几何形状和材质在整个过程中都保持得很好。



在定量评估中,VChain 在各项指标上也达到或超过了现有方法。在针对物理规律、常识推理及因果逻辑的专项测评中,VChain 显著优于现有方法。



研究者们还通过消融实验证明了 VChain 每个组成部分的重要性。如果去掉 “视觉思维”,模型虽然知道要生成第一人称视角的视频,但无法捕捉到正确的 “接球” 视觉模式。如果去掉 “稀疏调优”,直接用关键帧进行插值,则会导致严重的图像扭曲和伪影。只有将两者结合,才能得到最连贯、最真实的结果。



VChain 巧妙的地方在于它是一种 “即插即用” 的推理时框架,它没有去大动干戈地训练一个全新的视频模型,也不依赖额外的数据,而是通过 “LMM” 赋能;这为未来多模态模型的协同工作提供了一个范例。

深度思考

视频生成范式的 “推理革命”

基于论文附录的探讨,VChain 展示了视频推理与生成的两种潜在趋势:

1. 从 “语义指引” 到 “具象视觉推理” 的跨越

过去的研究多依赖 LLM 生成文字脚本或简单的布局信息。然而,文本在传达 “复杂的物理形变” 时存在表达盲区。

VChain 证明了:对于视频生成任务,推理过程也需要 “去符号化” 并直接进入视觉空间。 只有通过具备空间与材质约束的图像锚点,才能有效修正生成器内心错误的物理先验,实现逻辑与像素的统一。

2. 推理者 - 渲染者 (Reasoner-Renderer)” 协作新范式

VChain 提出了一种模块化的协作路径,将复杂的逻辑判断(由 MLLM,也就是 Reasoner 来完成)与底层的视觉渲染(由扩散变压器架构,或者更广义的 Renderer 来完成)进行解耦。

当视频生成逐渐被视为 “世界模型” 的一种实现形式,我们不应只满足于画面的精美。只要多模态大模型的常识以及逻辑推理能力上限依然高于视觉生成模型,这种将推理能力引导至生成过程的范式,就为未来多模态模型的协同工作提供了一个可参考的方向。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

探索新高度
2026-11-18 08:44:32
发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

補懂事的孩紙
2026-11-17 01:00:42
外媒:荷兰初创公司的导弹参与打击克里米亚大桥

外媒:荷兰初创公司的导弹参与打击克里米亚大桥

参考消息
2026-11-18 12:42:06
河南基本可以“包分配”的3所大学,学生毕业就能到体制内工作!完全不用愁就业!2027届高考生及家长不要错过

河南基本可以“包分配”的3所大学,学生毕业就能到体制内工作!完全不用愁就业!2027届高考生及家长不要错过

高三倒计时
2026-11-18 18:32:55
双预警齐发,中央气象台:内蒙古、黑龙江、吉林、山东等地有小到中雪或雨夹雪,贵州、云南、广西、广东等地有小雨,福建、广西等地有雷暴

双预警齐发,中央气象台:内蒙古、黑龙江、吉林、山东等地有小到中雪或雨夹雪,贵州、云南、广西、广东等地有小雨,福建、广西等地有雷暴

扬子晚报
2026-11-18 21:15:35
高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

杨仔述
2026-11-18 12:57:26
台军曾告知台湾民众:开战后,见到穿军服的,一定要尽快远离

台军曾告知台湾民众:开战后,见到穿军服的,一定要尽快远离

不甜的李子
2026-11-18 06:28:57
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
排面拉满!深圳APEC主持人阵容亮相,央视多位名嘴齐聚鹏城

排面拉满!深圳APEC主持人阵容亮相,央视多位名嘴齐聚鹏城

情感大头说说
2026-11-18 04:48:40
“没人活得比我更爽了!”女孩炫耀从小玩到大,网友:毕业薪资多少?她沉默了

“没人活得比我更爽了!”女孩炫耀从小玩到大,网友:毕业薪资多少?她沉默了

蝴蝶花雨话教育
2026-11-18 00:05:17
黄仁勋离开英伟达后,他的儿子、女儿、女婿也会被赶走吗?

黄仁勋离开英伟达后,他的儿子、女儿、女婿也会被赶走吗?

新商业派
2026-11-18 19:51:07
山东男篮逆转广东,陈林坚冷血三分制胜,替补席涌现小奇兵

山东男篮逆转广东,陈林坚冷血三分制胜,替补席涌现小奇兵

臻体育
2026-11-18 22:04:57
《谷雨》港味满满,6位香港演员功不可没,石榴姐、余文乐都老了

《谷雨》港味满满,6位香港演员功不可没,石榴姐、余文乐都老了

娱君坠星河
2026-11-18 13:37:40
李乃文直言演完《伟大的长征》很心虚,自嘲 “张国焘不适合参加创作座谈会”

李乃文直言演完《伟大的长征》很心虚,自嘲 “张国焘不适合参加创作座谈会”

草莓解说体育
2026-11-18 13:20:02
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
同样是抵达马尼拉,中国代表和日本首相的接机规格,差在哪?

同样是抵达马尼拉,中国代表和日本首相的接机规格,差在哪?

爱下厨的阿酾
2026-11-18 03:37:45
车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

触摸史迹
2026-11-17 09:20:45
又一国宣布:加息!金价,重挫!

又一国宣布:加息!金价,重挫!

证券时报
2026-11-18 17:28:04
公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

琴音缭绕回
2026-11-18 12:25:15
真正的思念,总是会无声无息的

真正的思念,总是会无声无息的

疾跑的小蜗牛
2026-11-18 21:04:36
2026-11-18 22:36:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
旅游
艺术
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版