NeurIPS 2025 | 仅凭两组图重建可动物体，REArtGS让3D高斯“活”起来

大家好，跟大家聊一篇非常有意思的新工作，它关于如何让我们生活中的那些可活动关节的物体（比如椅子、笔记本电脑、柜子等）在3D世界里“活”起来。

研究团队来自合肥工业大学、中科院、上海交通大学、字节跳动，提出了一个名为 REArtGS 的新框架。这个名字是 REconstructing Articulated 3D Gaussian Surfaces 的缩写，意在通过3D高斯溅射（3D Gaussian Splatting）技术，来重建和生成这些可活动物体的3D模型。

最酷的是什么呢？它仅仅需要一个物体的 任意两个状态 的多视角图片，就能高质量地重建出带纹理的3D表面，并且还能生成这个物体在其他任何未见过状态下的样子。

• 
  

  论文标题 ：REArtGS: Reconstructing and Generating Articulated Objects via 3D Gaussian Splatting with Geometric and Motion Constraints (NeurIPS 2025)

• 作者团队： Di Wu, Liu Liu, Zhou Linli, Anran Huang, Liangtu Song, Qiaojun Yu, Qi Wu, Cewu Lu

• 机构： 中国科学院；中国科学技术大学；合肥工业大学；上海交通大学；字节跳动

• 论文地址： https://arxiv.org/abs/2503.06677

• 代码仓库(已开源)：https://github.com/wd-ustc-cs/REArtGS

• 项目主页： https://sites.google.com/view/reartgs/home

研究背景：让静态的3DGS“动”起来

3D高斯溅射（3DGS）作为一项新兴技术，在静态场景的实时渲染上取得了惊人的效果，但要让它处理动态、尤其是可活动关节的物体，一直是个不小的挑战。

以前的方法，比如基于NeRF的方案，虽然能处理动态场景，但往往难以重建出高质量的带纹理表面，而且计算量巨大。而直接将3DGS用于可动物体，又会因为缺乏几何约束而导致模型表面出现各种瑕疵和伪影。

想象一下，要重建一把可以折叠的椅子，不仅需要知道它展开和折叠时的精确形状，还需要理解它的各个部件是如何连接和运动的。这对算法的要求非常高。而已有的方法要么需要密集的3D数据，要么需要整个运动过程的完整视频，这在现实应用中很难获取。

REArtGS：几何与运动双重约束下的高斯建模

为了解决这些痛点，REArtGS框架被提了出来。它的核心思路是在3D高斯基元的基础上，引入了额外的几何和运动约束。

整个流程可以分为两个核心步骤：

1. 带有无偏SDF引导的表面重建

首先，为了得到高质量的几何形状，作者们没有直接使用传统3DGS的透明度（opacity）来定义表面，而是引入了符号距离函数（Signed Distance Field, SDF）来指导高斯基元的学习。SDF可以更精确地表达一个点到物体表面的距离，从而形成更清晰、更平滑的物体表面。

但这里有一个“偏见”问题：高斯基元的中心点和它实际渲染贡献最大的点可能不一致。为了解决这个问题，作者提出了一种 无偏SDF正则化（unbiased SDF regularization） 方法。简单来说，它能确保当高斯基元的渲染贡献达到峰值时，其对应的空间位置正好落在SDF定义的物体表面上，从而大大提升了重建质量。

2. 基于运动学约束的动态生成

在获得了高质量的静态几何模型后，下一步就是让它“动”起来。研究者利用了可动物体的运动学结构（即关节的旋转或平移），为高斯基元建立了可变形场。

这个过程是无监督的，算法会自动学习物体的旋转关节（如椅子的转轴）或平移关节（如抽屉的滑轨）。通过对初始状态和结束状态的学习，模型就能推断出从一个状态到另一个状态的连续变化，并能泛化到任意中间状态。

实验效果：合成和真实世界数据双双告捷

为了验证REArtGS的实力，研究团队在合成数据集PartNet-Mobility和真实世界数据集AKB-48上进行了大量实验。

表面重建质量

在PartNet-Mobility数据集上，无论是从定量指标还是定性结果来看，REArtGS都表现出色。从下方的结果图可以看出，相比于之前的方法（如PARIS、GOF等），REArtGS重建的物体表面（无论是带纹理还是不带纹理）都更加平滑、完整，细节也更丰富。

下面的表格数据也证明了这一点。在Chamfer Distance (CD)、F1-score和EMD等多个评估表面质量的指标上，REArtGS都取得了 SOTA（State-of-the-art） 或接近SOTA的成绩。例如，在平均EMD指标上，REArtGS达到了 0.695，显著优于其他方法。

任意状态生成

在生成未见过的物体状态方面，REArtGS同样展示了强大的能力。它可以流畅地生成物体从一个状态到另一个状态的连续动画。

定量结果显示，在所有评估指标的平均值上，REArtGS都取得了最佳表现，平均EMD达到了 0.670。这说明它不仅重建得好，还能精准地预测物体的动态变化。

真实世界泛化

在更具挑战性的真实世界数据集AKB-48上，REArtGS也取得了优异的成绩，证明了其强大的泛化能力。无论是剪刀、眼镜还是抽屉，它都能准确地重建和生成。

消融实验

为了证明各个模块的有效性，作者还进行了消融实验。结果表明，无论是“无偏SDF引导”还是“运动约束”，去掉任何一个都会导致性能显著下降。这充分说明了REArtGS设计的合理性。

总结

总的来说，REArtGS框架巧妙地将SDF的几何优势和运动学约束融入到3D高斯溅射中，成功地解决了从稀疏图像输入（仅两个状态）进行高质量可动物体三维重建和动态生成的难题。

CV君觉得，这项技术在虚拟现实、机器人操作、数字孪生等领域都有着巨大的应用潜力。想象一下，未来我们只需要用手机给家里的家具拍几张照片，就能在虚拟世界里得到一个可以交互的完美数字复制品，这将是多么令人兴奋的体验。

当然，作者也提到了一些局限性，比如目前方法依赖于已知的相机位姿，并且对透明材质的物体处理效果不佳。这些也为未来的研究指明了方向。