网易首页 > 网易号 > 正文 申请入驻

视频模型假装在推理?MME-CoF新基准评估12个推理维度

0
分享至

新智元报道

编辑:LRST

【新智元导读】视频生成模型如Veo-3能生成逼真视频,但有研究发现其推理能力存疑。香港中文大学、北京大学、东北大学的研究者们设计了12项测试,发现模型只能模仿表面模式,未真正理解因果。这项研究为视频模型推理能力评估提供基准,指明未来研究方向。

近年来,以Veo、Sora为代表的视频生成模型,已经能够合成高度逼真且连贯的视频,这表明它们可能成功编码了大量世界知识。

谷歌的最新研究甚至指出,Veo-3这类模型正超越单纯的内容生成,展示出无需特定训练即可进行感知、建模和推理等「涌现能力」。

这引出了一个类似大语言模型(LLM)中「思维链」(Chain-of-Thought, CoT)的新概念——Chain-of-Frame(CoF)。

其核心思想是:模型通过逐帧生成视频来逐步推演和解决问题。

然而,一个关键问题仍然存在:视频模型是真的具备零样本(Zero-Shot)推理能力,还是仅仅在「模仿」训练数据的表面模式?

为回答这一问题,来自香港中文大学、北京大学、东北大学的研究者们开展了一项系统的实证研究,全面评估以Veo-3为代表的视频模型在零样本场景下的推理潜力,并整理了涵盖空间、几何、物理、时间等12个推理维度的新基准测试MME-CoF

论文地址:https://arxiv.org/pdf/2510.26802v1

项目地址:https://video-cof.github.io/

什么是Chain-of-Frame(CoF) 推理?

Chain-of-Frame(CoF)推理可类比于LLM的「思维链」(CoT)。

LLM中的CoT是通过生成一步步文本来进行推理。

视频模型中的CoF则是通过逐帧生成视频序列,迭代更新和演进场景。

例如,要模型回答一个复杂空间问题,不再直接输出答案,而是要求它生成一个「解决问题的过程视频」。研究者希望探索,这种CoF过程能否让模型真正涌现出通用的视觉推理能力。

深度剖析:Veo-3的12维考验



为全面评估 Veo-3 的零样本推理潜力,研究团队从多角度设计了 12 个推理维度。下面列举其中三个典型维度,以展示模型在实际任务中的表现,其他维度的详细设计与结果可参见原论文。

1. 视觉细节推理(Visual Detail Reasoning)

任务:评估模型辨别和维持细粒度视觉属性(如颜色、纹理)及空间关系(如左右方位)。

发现:在视觉显著、易定位的目标上表现良好。

局限:目标过小、被遮挡或处于杂乱背景时,定位失败,推理能力下降;生成可能带有风格化偏差,虽然表面合理但偏离指令。

视觉追踪推理(Visual Trace Reasoning)

任务:评估模型在序列动作(如走迷宫、多步操作)中的因果连续性。

发现:在简单、低分支场景中可生成局部连贯的短时序路径。

局限:长时序规划或规则驱动序列任务无法可靠执行,复杂因果链条失效。

物理推理(Physics-based Reasoning)

任务:评估模型描绘运动动力学、物理因果关系及基于规则的互动(如重力、碰撞、摩擦力)。

发现:能够生成短期、表面合理的动态效果。

局限:系统性违反定量物理约束(如能量守恒、机械规则);无法理解因果关系,仅能「演」物理。

其他9个维度的挑战

在剩余的 9 个维度中,Veo-3 也显示了一定的局限性,表现规律如下:

真实世界空间推理(Real-world Spatial Reasoning):在复杂视角和动态场景下,模型难以保持空间一致性,物体易出现错位或漂移。

3D几何推理(3D Geometry Reasoning):多步骤或复杂 3D 变换容易失败,生成结构错位或自交,模型无法理解连续几何关系。

2D几何推理(2D Geometry Reasoning):对基础 2D 变换有初步能力,但约束条件不稳定,复杂图形或多步骤几何理解不足。

旋转推理(Rotation Reasoning):小范围旋转可近似生成,但大角度或复合旋转下几何一致性丢失,物体出现扭曲或不连贯。

图表推理(Table and Chart Reasoning):能进行局部聚焦或视觉匹配,但缺乏精确关系理解,生成结果难以作为可靠推理依据。

物体计数(Object Counting Reasoning):基础计数可行,但在动态或复杂场景中,空间控制不足,易出现重复或漏计。

GUI推理(GUI Reasoning):能模仿点击动作,执行局部界面操作,但缺乏对操作逻辑或任务目标的理解。

具身推理(Embodied Reasoning):对物体位置和操作有基本识别能力,但缺乏规划与稳定性,易生成「作弊」行为,如凭空生成物体或不遵守环境规则。

医学推理(Medical Reasoning):在医学图像缩放或局部观察上可展示基础能力,但对专业术语与影像逻辑理解不足,易产生图像扭曲或不真实现象。

MME-CoF:首个CoF推理基准标题

基于以上实例研究,研究团队整理出了MME-CoF基准,以便系统评估CoF推理潜力:

1. 首个专门量化视频模型推理潜力的基准;

2. 涵盖12个大类,共59个精心设计条目;

3. 巧妙的提示设计,将抽象推理问题(物理、几何、计数)转化为具体「视频生成任务」,迫使模型通过CoF展示推理过程。

最终结论

视频模型是在「演」推理

通过对Veo-3、Sora-2、Seedance、Kling等模型的分析,研究者得出:

  1. 尚不具备独立推理能力:目前的视频模型还不能作为可靠零样本推理器。

  2. 「模式驱动」而非「原理驱动」:生成能力强 ≠ 推理能力强。

  3. 重「貌似合理」,轻「逻辑正确」:模型更注重视觉合理性,而非逻辑严谨性。

  4. 未来潜力巨大:有望成为强大的「互补视觉引擎」,与推理模型协同工作。

这项研究为社区提供了对视频模型推理潜力的深刻洞察和清晰的评估基准,揭示了当前视频模型在迈向真正「通用视觉模型」道路上的重要障碍。

参考资料:

https://arxiv.org/pdf/2510.26802v1

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
你想想,水、电、网这些你每天离不开的东西,要是全变成私人公司说了算,你的日子会变成什么样?

你想想,水、电、网这些你每天离不开的东西,要是全变成私人公司说了算,你的日子会变成什么样?

回京历史梦
2026-11-07 09:11:37
格里芬回忆快船更衣室一幕:全队看两人辩论笑到不行

格里芬回忆快船更衣室一幕:全队看两人辩论笑到不行

体坛观察猿
2026-11-17 03:02:07
国民党在台湾政党竞争中连续败北,在郑丽文面前的最大问题是什么

国民党在台湾政党竞争中连续败北,在郑丽文面前的最大问题是什么

海峡导报社
2026-06-17 09:54:03
今天才知道:这4种锅具危害居然这么大,看完赶紧换掉别心疼!

今天才知道:这4种锅具危害居然这么大,看完赶紧换掉别心疼!

Home范
2026-11-16 15:45:03
中国首富张一鸣建议自己的员工不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间也可以健身读书看电影

中国首富张一鸣建议自己的员工不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间也可以健身读书看电影

LULU生活家
2026-11-09 17:09:27
蛇冬眠的时候有多危险?一个专业捕蛇人坦言:90% 的人根本想不到,蛇进入冬眠,它就可能变成老鼠的一顿大餐

蛇冬眠的时候有多危险?一个专业捕蛇人坦言:90% 的人根本想不到,蛇进入冬眠,它就可能变成老鼠的一顿大餐

扶苏聊历史
2026-10-21 16:34:58
11月16日俄乌:最大规模的乌克兰无人机袭击

11月16日俄乌:最大规模的乌克兰无人机袭击

山河路口
2026-11-16 20:32:41
汤姆·哈迪《毒液3》上线100天,票房虽降仍霸榜

汤姆·哈迪《毒液3》上线100天,票房虽降仍霸榜

时光慢旅人
2026-11-15 01:56:42
二十年花百万养出仇人!虐待、私吞千万遗产?68岁刘佩琦法庭痛哭

二十年花百万养出仇人!虐待、私吞千万遗产?68岁刘佩琦法庭痛哭

棠棣分享
2026-08-12 19:29:19
中方消耗战术大见成效!马德雷山号拖不走,菲改口寻求对话谈判?

中方消耗战术大见成效!马德雷山号拖不走,菲改口寻求对话谈判?

玲儿爱唱歌
2026-11-17 00:34:18
导致全美航班停飞的“罪魁祸首”找到了?FAA调查指向20年历史路由器

导致全美航班停飞的“罪魁祸首”找到了?FAA调查指向20年历史路由器

IT之家
2026-11-15 11:12:50
外网评价张雪机车系列:意大利杜卡迪粉丝的一句话在外网被转疯了:“这车不像人类造的”

外网评价张雪机车系列:意大利杜卡迪粉丝的一句话在外网被转疯了:“这车不像人类造的”

哲学船
2026-10-23 16:15:26
高市早苗瞎担心

高市早苗瞎担心

新民周刊
2026-11-12 09:05:31
闹大了!清华美院又乱画英雄人物,宇航员浑身肥肉,官媒亲自下场

闹大了!清华美院又乱画英雄人物,宇航员浑身肥肉,官媒亲自下场

就一点
2026-08-27 01:20:28
贪污上亿,假慈善,身体出问题?54岁的韩红到底动了谁的蛋糕?

贪污上亿,假慈善,身体出问题?54岁的韩红到底动了谁的蛋糕?

吃青菜长高
2026-07-06 19:25:32
1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

唠叨说历史
2026-11-13 14:31:10
网传物业费会成为压死失业人群的最后一根稻草…

网传物业费会成为压死失业人群的最后一根稻草…

慧翔百科
2026-11-12 11:33:59
“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

千秋文化
2026-09-22 19:32:48
沙特与胡塞激烈对攻,胡塞威胁“可开辟三条战线”

沙特与胡塞激烈对攻,胡塞威胁“可开辟三条战线”

凤凰卫视
2026-11-16 16:26:06
尊界V800销量暴跌,10月仅605台,真的只是刹车踏板的锅?

尊界V800销量暴跌,10月仅605台,真的只是刹车踏板的锅?

玩车专家1
2026-11-15 19:43:06
2026-11-17 03:39:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16696文章数 67238关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

旅游
艺术
时尚
健康
数码

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

自骂“烂人”的黄仁勋,冤不冤?

情绪真能让健康人"伤心至死"?

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

无障碍浏览 进入关怀版