无需多视角，单图重建可交互3D模型！南洋理工开源结构推理框架

新智元报道

编辑：LRST

【新智元导读】让3D模型「活」起来！南洋理工大学团队提出MonoArt，通过逐步推理实现从单图生成可动3D模型。该方法先恢复几何结构，再识别部件，最后推断运动方式与参数。无需外部数据或先验，即可构建出具备运动能力的3D表示，有效提升重建稳定性与实用性。

在3D生成领域，我们已经习惯了从单张图片中生成3D物体模型。

然而，随着具身智能（Embodied AI）的爆发，一个新的现实摆在研究者面前：这些模型大多是难以交互的静态资产。

你想打开生成的冰箱门？它是焊死的。你想让机器人搬动生成的椅子？它不知道哪里可以折叠 。

近日，来自南洋理工大学S-Lab的研究团队提出MonoArt，尝试高效的解决这一问题：与其让模型直接「猜」物体怎么动，不如先让它一步步「理解」物体的结构。

MonoArt 的核心思路可以概括为一句话： 把单目可动物体重建，建模为一个渐进式结构推理过程（progressive structural reasoning）。

在这个框架里，模型不是一次性输出articulation，而是依次完成几何恢复、部件感知、运动推理和运动学参数估计，最终得到一个既有形状、又有部件层级和关节信息的3D表示。

论文链接：https://arxiv.org/abs/2603.19231

项目链接：https://lihaitian.com/MonoArt/

GitHub链接：https://github.com/Quest4Science/MonoArt

引言

与静态3D重建不同，articulated 3D reconstruction不仅要恢复物体形状，还要进一步建模部件划分、关节类型、运动轴、旋转中心和运动范围。这个任务的难点不仅在于需要预测的参数更多，更在于结构与运动是耦合的：不知道可动部件怎么划分，就很难推断它如何运动；反过来，不理解运动关系，又很难真正建好可动部件的结构。也正因为如此，直接从图像特征回归articulation往往不稳定，泛化也有限。

现有方法大致可以分为三类：

• 基于多视角或视频的方法：依赖同一物体在不同开合状态下的观测，虽然效果较好，但对数据条件要求高，真实场景中往往不具备。

• 基于检索与拼装的方法：通过已有资产库组装可动物体，但容易受到库内形状覆盖的限制，结果常出现几何误差和纹理不匹配。

• 基于额外先验的方法：借助视觉语言模型、辅助视频生成或预定义运动方向来推断articulation，虽然减少了对多视角数据的依赖，但系统更复杂，更依赖外部先验，同时通常需要更漫长的推理时间。

这些方法有一个共同问题：它们都没有真正把结构理解本身作为articulation inference的起点。

要么依赖更多观测补信息，要么依赖外部先验补线索，但都没有回答一个更本质的问题：单张图像里的可动物体，能否先被拆解为稳定的几何与部件结构，再在此基础上推断运动关系？

MonoArt正是为了解决这个问题而提出。它不再把 articulation 视为一个直接回归的结果，而是将单目可动物体重建建模为一个渐进式结构推理过程，把 geometry、part structure 和 motion 放进同一条连续的推理链里，让运动成为结构理解的自然结果。

方法设计

具体来看，MonoArt 由四个关键模块组成，来实现图像 → 几何恢复 → 部件感知 → 运动推理 → 运动学参数估计的逐步的推理。

第一步：先有一个靠谱的3D形状

一切的起点是从单张图像恢复出物体的三维几何。MonoArt使用TRELLIS作为冻结的3D生成骨干，输出一个canonical mesh以及与之对齐的latent features。这一步的意义在于：后续所有关于「部件」和「运动」的推理，都建立在三维空间而非二维图像上——这比直接从像素特征回归关节参数要稳定得多。

第二步：知道物体由哪些可动部件组成

有了3D形状，下一个问题是：这个形状里哪些部分是可动的？一个柜子的门和柜体是两个不同的部件，但mesh本身不会告诉你这一点。Part-Aware Semantic Reasoner的作用就是让模型「看懂」部件结构。

它将表面上每个点的几何特征投影到三个正交平面上（triplane），再通过Transformer 捕捉全局结构关系，最终为每个点生成一个包含部件归属信息的embedding。

训练时通过triplet loss来拉开不同部件特征之间的距离，让属于同一部件的点聚在一起，不同部件的点彼此远离。

下面的可视化很直观地展示了这一步的效果：没有这个模块时，点特征对于部件难以有运动层级上的区分（第二列）；加上模块和triplet监督后，不同部件的特征有了较好的区分（最后一列）。

第三步：推断每个部件怎么动

知道了部件划分，接下来要推断运动。但这里有一个微妙的难点：描述一个部件的运动，需要同时回答两类不同性质的问题——它「是什么」（语义：这是一扇门还是一个抽屉？）和它的运动「发生在哪里」（空间：旋转中心在什么位置？）。

如果把这两类信息混在同一个表征里端到端回归，往往不稳定。 MonoArt的Dual-Query Motion Decoder用了一个解耦的设计：用content query编码部件语义，用position query编码空间运动锚点，两者通过6层迭代 refinement 逐步对齐。

每一层中，query之间通过self-attention建模部件间关系，再通过 cross-attention 从点特征中提取证据。这种「一边搞清楚是什么，一边搞清楚在哪里」的并行迭代方式，让运动推理更加稳定。

第四步：输出物理上可用的运动学参数

最后，Kinematic Estimator 把前面的推理结果转化为明确的、物理可解释的输出：每个部件的 mask、关节类型（固定、旋转、平移等）、旋转轴方向、旋转中心位置、以及运动范围上下限。

此外，它还预测部件之间的父子关系，构建出完整的 kinematic tree——也就是「哪个部件连在哪个部件上」。

一个值得注意的设计细节是：关节位置的预测采用了残差形式，以上一步输出的 position query（即部件质心）为锚点，只预测偏移量。消融实验表明这比直接回归绝对坐标更准确——这也呼应了整个框架「渐进式」的设计哲学：每一步都站在上一步的肩膀上。

这四步递进的设计带来一个直接的好处：整个articulation推理不需要任何外部先验——不需要多视角、不需要资产库、不需要VLM、不需要辅助视频生成。那么它的效果到底怎么样？

实验效果

在PartNet-Mobility基准测试中，MonoArt在7类和46类两种设置下均展现出领先性能。

相比SINGAPO、URDFormer、Articulate-Anything、PhysXAnything等代表性方法，MonoArt在几何重建质量、关节类型预测以及关键运动参数估计等多个核心指标上取得最优表现，同时兼顾了更高的推理效率。

相比Articulate-Anything的229.9s和PhysXAnything的256.8s, MonoArt只需要20.5s（其中 18.2 秒花在 TRELLIS做3D重建上，articulation reasoning本身只增加了约 2 秒的开销）。

同时，在下游任务中，MonoArt生成的3D物体可以用在机械臂的仿真训练，MonoArt 重建出来的物体可以直接导入 IsaacSim，让 Franka 机械臂去抓取和开门，不需要任何额外的关节标注。

MonoArt可以扩展到具有可动部件的场景生成上。

局限性与思考

MonoArt给单目articulated 3D reconstruction提供了一条清晰的新路线：不是依赖越来越重的外部先验去「补」运动，而是通过progressive structural reasoning，让模型真正学会物体为什么这样组成、又为什么可以这样运动。

但是对于尺度极不均衡的小部件，均匀采样可能导致特征不够明显；对于非常新的拓扑结构或罕见模式，模型的运动参数预测也可能下降。这些问题也为后续工作留下了空间。

参考资料：

[1] TRELLIS: Structured 3D Latents for Scalable and Versatile 3D Generation. CVPR 2025.

[2] URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images. RSS 2024.

[3] SINGAPO: Single Image Controlled Generation of Articulated Parts in Objects. ICLR 2025.

[4] Articulate-Anything: Automatic Modeling of Articulated Objects via a Vision-Language Foundation Model. ICLR 2025.

[5] PhysX-Anything: Simulation-Ready Physical 3D Assets from Single Image. CVPR 2026.

[6] DreamArt: Generating Interactable Articulated Objects from a Single Image. SIGGRAPH Asia 2025.

[7] Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics. ICCV 2025.

[8] PARIS: Part-level Reconstruction and Motion Analysis for Articulated Objects. ICCV 2023.

[9] ArticulatedGS: Self-supervised Digital Twin Modeling of Articulated Objects using 3D Gaussian Splatting. CVPR 2025.

[10] PhysX-3D: Physical-Grounded 3D Asset Generation. NeurIPS 2025.