ECCV'26| 看起来会动

来源：市场资讯

（来源：新智元 新智元）

新智元报道

【新智元导读】PhyMAGIC通过让物体动起来，从视频中提取物理证据，帮助准确推断材料属性。它结合图生视频与视觉语言模型，生成针对性运动探针，并不断修正物理参数，最终构建出可微分的3D动态模型，实现更符合现实的视频生成。

给定一张篮球的图片，再输入一句「篮球落到地面后反弹」，现在的视频生成模型很快就能让画面动起来。

但仔细观察，问题也很明显：篮球可能在空中突然变形，落地后没有压缩，反弹高度与下落速度不匹配，甚至出现漂浮、穿透地面等现象。生成结果看起来像视频，却不一定符合真实世界的运动规律。原因在于，一张静态图片只能告诉我们物体「长什么样」，却很难直接告诉我们它有多重、多硬、是否容易发生塑性变形。

密度、杨氏模量、泊松比和屈服应力等物理属性，通常需要通过运动和交互才能被观察到。

如图1所示，对于输入的黄色玩具小车，自由落体和爆炸所展示出的物理属性有很大差别，自由落体更能揭示质量、速度等；爆炸则更能揭示物体材料和密度。一个外观相似的物体，可能由橡胶、塑料、金属或沙粒组成。它们在自由下落、碰撞和挤压时会产生完全不同的响应。

针对这一问题，美国内华达大学里诺分校计算机科学与工程系和浙江大学软件学院的研究人员提出了一个无需额外训练的物理动态生成框架PhyMAGIC，不再要求视觉语言模型仅凭一张图片「猜」出全部物理参数，而是先生成一组有针对性的运动视频，将这些视频作为物理证据，再逐步修正对物体属性的判断。

论文链接：https://arxiv.org/pdf/2505.16456v3

开源代码：https://mengsiwei.github.io/MAGIC/

方法介绍

PhyMAGIC的核心想法很直观：如果静态图片中的信息不够，就让物体先动起来。

如图2，仅从一张Wolf-like的图片出发，很难准确判断它的质量和材料，但可以生成该运动物体自由下落、受到侧向推动或发生碰撞的视频。不同运动会暴露不同的物理线索：

• 自由下落和碰撞有助于判断质量、刚度与弹性；

• 挤压可以观察材料的形变和恢复能力；

• 旋转和侧推可以帮助分析惯性、接触方式和受力方向；

• 坍塌过程可以区分刚体、弹性体和颗粒材料。

PhyMAGIC中的图生视频模型并不是最终的物理模拟器，而更像一个「虚拟实验装置」。

它的作用是把静态图像中隐含的运动先验转化为可观察的时间线索。PhyMAGIC采用预训练的图生视频模型生成这些 Motion Probes，也就是运动探针视频。

随后，系统从视频中选取运动变化较明显的代表帧，交给视觉语言模型（VLMs）进行物理分析。某些运动可能适合判断质量，却不能充分揭示材料是否容易发生塑性变形。因此，PhyMAGIC为每个物理参数同时预测一个置信度。

视觉语言模型首先根据输入图片、文本指令和运动探针，估计物体的材料类型、质量、密度、杨氏模量、泊松比和屈服应力等属性。每个属性都会经过多次独立推断，并根据结果之间的一致性计算置信度。

对于不确定的物理属性，VLMs就继续针对这些物理属性进行提问。当某个参数的置信度低于阈值（gamma=0.6）时，系统不会直接接受当前结果，而是自动改写视频生成指令。例如，一个玩具模型的杨氏模量和泊松比仍然不确定，系统会把原来较宽泛的运动描述，改写成更能展现挤压、弯曲或回弹过程的指令。新的指令会再次驱动图生视频模型，生成更有针对性的运动证据。

随后，视觉语言模型重新分析视频并更新物理参数。这一过程形成了一个闭环：

发现低置信度参数 → 生成针对性运动 → 获取新的视频证据 → 重新推断物理属性。

实验过程

实验中，Motion probes最多进行三轮。随着证据不断增加，早期错误的材料分类和参数估计会逐渐得到修正。因此，PhyMAGIC不是要求模型一次给出确定答案，而是允许它先表达「不确定」，再主动寻找能够减少不确定性的证据。

推断出材料参数后，还需要解决另一个问题：怎样让这些参数真正进入物理模拟器？

视觉语言模型通常输出「该物体是刚体，密度约为1200 kg/m³」这样的语义描述。但一个物理模拟器还需要知道初始速度、重力方向、边界条件、碰撞表面和外力配置。只有材料参数，没有运动条件，物体不会自动产生目标动作；只有「向左推」这样的指令，没有材料属性，不同材质也无法表现出合理差异。

为此，研究人员提出了 Hybrid Physical Parameters，简称HPP。它将两类信息组合成完整的物理配置：

• 一类是物体本身的材料属性，包括密度、杨氏模量、泊松比和屈服应力；

• 另一类是模拟器所需的执行参数，包括初始速度、外力、边界条件、接触模式和运动模板。

系统会根据文本指令和前面收集到的视频证据，在自由下落、挤压、旋转、反弹和侧推等运动模板中选择合适的配置。

接下来，PhyMAGIC使用TRELLIS将输入图片重建成3D Gaussian Splatting表示。每个高斯点不仅保存位置、颜色和透明度，也被赋予相应的物理属性，并作为材料粒子进入可微分的Material Point Method模拟器。最终得到的不只是一段二维视频，而是一个可以从不同视角渲染的动态3D对象。

结果分析

研究人员在PhysGaussian、PhysGen以及互联网收集的单图场景上进行了测试，覆盖刚体、弹性体和颗粒材料，以及自由下落、滚动、摆动、压缩和坍塌等运动。

如表1所示，在八组场景中，PhyMAGIC的平均CLIP相似度达到 0.251，高于OpenSora 2.0的0.233和CogVideoX的0.239，说明生成运动与文本描述之间具有更好的对应关系。

与PhysDreamer、Physics3D和OMNIPHYSGS等物理动态生成方法相比（表2），PhyMAGIC在六个代表场景上的平均CLIP相似度达到 0.252。Image-Motion-FID降低到 94.69，在对比方法中取得最佳结果。

研究人员还邀请61名参与者从物理合理性和文本一致性两个方面对生成结果进行评分。PhyMAGIC分别获得 3.00 和 3.07 的平均分，同样优于参与比较的视频生成模型。

迭代实验也显示，最初的推断可能将汽车错误判断为弹性材料，或严重低估篮球的密度和刚度。经过运动探针和置信度引导的修正后，三个代表场景中的参数准确率在第三轮均达到约90%或更高。

图5中的空间—时间切片与光流结果进一步表明，PhyMAGIC能够保持目标区域运动的连续性，同时减少背景和静止部件的意外形变。

总结

PhyMAGIC并不把生成视频当作真实世界的标准答案。生成视频仍然可能包含偏差，但它可以提供静态图片中不存在的时间信息。

这项工作重新定义了视频生成模型在物理推断中的角色：它不仅可以负责产生最终内容，也可以作为一种主动探测工具，为后续推理提供新的观察角度。

整个框架不需要针对特定材料重新训练，可以替换其中的图生视频模型、视觉语言模型、3D重建模块和物理模拟器。这种模块化设计也使它能够随着基础模型的发展继续升级。

目前，PhyMAGIC仍然受到单图3D重建质量的影响。较薄的结构和复杂拓扑可能导致物理粒子分布不准确。视觉语言模型对物理参数的估计也主要是定性和近似的，尚不足以处理高频振动和精确摩擦系数等问题。此外，当前系统主要关注前景物体，还没有完整覆盖复杂关节结构和密集多物体交互。

未来，我们希望进一步利用探针视频与模拟结果之间的视觉误差，直接优化物理参数，让「主动观察—物理推断—动态仿真」形成更紧密的闭环。

参考资料：

https://arxiv.org/pdf/2505.16456v3

编辑：LRST