ACM TOG 2025 | 3DGS + SDF实现高效重光照与三维重建

本文分享一篇南开大学和南京大学在ACM TOG 2025上发表的最新研究成果《GS-ROR²: Bidirectional-guided 3DGS and SDF for Reflective Object Relighting and Reconstruction》。该研究提出了可重光照高斯模型——GS-ROR²，拓展了高斯泼溅在光滑物体重光照和几何重建上的应用。

论文题目： GS-ROR2: Bidirectional-guided 3DGS and SDF for Reflective Object Relighting and Reconstruction 论文链接： https://arxiv.org/abs/2406.18544 开源代码： https://github.com/NK-CS-ZZL/GS-ROR 项目主页： https://nk-cs-zzl.github.io/projects/gsror/index.html

从多视角照片中重建可重光照的3D模型一直是计算机图形学和计算机视觉的核心挑战，尤其对于类似镜面的光滑物体，由于其反射能量集中，角度变化敏感的特点，重建困难更大。

现有基于神经辐射场（NeRF）和有符号距离场（SDF）的方法在光滑反射物体的建模上效果出色，但训练和渲染时间长且难以捕捉尖锐细节；而近年兴起的3D Gaussian Splatting（3DGS）则在渲染速度和细节表达上表现优异，却在几何精度与反射高光处理上存在短板。

在保证高质量几何与材质重建的同时，兼顾高速训练与实时渲染，成为研究界亟待解决的问题。

1.1 有符号距离场

有符号距离场（SDF）是一种常用的隐式几何表示形式，将三维坐标映射为一个标量距离值，用于表示该点到物体表面最近点的距离：物体外部为正值，内部为负值，表面位于零等值面上。对SDF进行梯度计算，可得到垂直于等值面的方向向量；在零等值面处，该向量即为表面法向量。

在优化SDF方面，NeuS提出了一种基于体渲染的主流方法，将SDF值与体渲染权重相结合，从多视角图像中学习SDF。随后，大量工作引入了Eikonal loss、Hessian loss等正则化项，以进一步约束SDF学习，使几何结果更加平滑、合理且精确。

得益于SDF的连续性与良好的几何约束，我们可以从中直接提取出高质量、平滑的三维网格（mesh）。

1.2 高斯泼溅

近年来，高斯泼溅（Gaussian Splatting, GS） 提供了一种基于光栅化的高效渲染框架，可从多视角图像同时优化几何与外观，并显著提升渲染速度。其显式高斯基元在新视角合成中表现出卓越的细节还原能力，但由于结构离散，几何连续性难以保证，导致重建精度不足。

此外，法向与深度计算的不一致，使得GS难以生成平滑的三维网格供传统渲染引擎使用。如下图所示，即使GS优化出光滑的法向量，利用深度导出的三维网格依然能观察到明显的不自然纹路。

综上，SDF具备优良的几何约束能力，GS则提供了高效的优化框架。核心问题在于：如何在保持GS高效性的同时，引入SDF的几何约束，实现高质量的几何、材质解耦。在了解了二者背景后，接下来将介绍我们的方法如何在减少冗余的同时提升性能。

二、论文方法

我们提出的GS-ROR2是一个利用SDF与GS相互监督的逆渲染框架，采用2阶段训练方式，先利用SDF约束GS几何，再通过GS微调SDF提升几何细节。其核心创新包括：

2.1 延迟高斯渲染

现有GS通常先计算各高斯的颜色再进行混合（前向渲染），导致法向量方向不同的相邻高斯基元在光滑表面上产生能量分散（下图左）。本文采用延迟渲染，先混合几何与着色信息，为每个像素生成唯一法向量，从而保证在光滑表面上反射能量集中。（下图右）

2.2 几何属性双向监督

由于仅关注几何，GS-ROR2首先省略了SDF颜色渲染部分。本文还发现低分辨率SDF即可提供足够的几何约束，进一步减少开销，并设计了双向几何监督机制：利用GS渲染得到的深度与法向量，监督低分辨率SDF的几何学习；反过来用SDF提供的深度与法向量约束GS，减少几何噪声与伪影。

这种仅基于深度与法向量的监督方式，避免了SDF颜色渲染的高开销，同时实现了两种表示间的互补优势：GS保留了高效的外观表达，SDF提供了稳定的几何先验。

2.3 SDF引导的剪枝策略

在训练过程中，高斯基元可能因过拟合高光而生成远离物体表面的异常点。为此，本文提出SDF引导的剪枝策略：根据SDF概率密度函数计算自适应阈值，自动调整剪枝范围；将超出阈值的高斯基元删除，确保所有高斯分布集中在表面附近。该策略无需人工调参，能有效消除浮动伪影（floaters）。

2.4 GS引导的SDF微调

经过上述训练，GS已经能够较好解耦几何与材质，但如背景知识部分所述，我们还无法从中导出高质量三维网格。为此，我们进一步利用GS提供的高质量法向量微调提升分辨率后的SDF网络。这样微调后的SDF即可导出高质量的三维网格供下游渲染引擎使用。

三、实验结果

GS-ROR2在多个主流仿真和真实数据集上进行了广泛的实验，并与当前最先进的方法进行比较。

3.1 定量分析

如下表所示，在Glossy synthetic和TensoIR synthetic数据集上，GS-ROR2均提供了更高质量的重光照结果，且训练时间上开销较小。

在几何质量上，GS-ROR2能提供更高精度的表面重建。

3.2 定性结果

下图展示了在新光照下的重光照渲染结果、法向量可视化和提取出的三维网格可视化，GS-ROR2对漫反射材质和具有镜面反射的物体均能提供合理的解耦结果，进而提供高真实感的重光照渲染结果。

下图进一步对比了GS-ROR2和以往基于高斯的重光照方法，由于缺少合适的几何约束，以往方法提供的解耦结果无法保证整体表面的连续性，并且会丢失局部细节。GS-ROR2得益于几何上的良好约束，可以提供整体平滑完整又具有局部细节的重光照结果。

另外，得益于连续的SDF的表示和GS提供的细节信息，GS-ROR2能够提供平滑且细节丰富的三维网络。

3.3 消融实验

消融实验证明了我们提出各个组件的有效性。所有组件均能带来可观的性能提升。

四、论文贡献与展望

论文提供了高效，可实时渲染的可重光照模型，并能提供高质量的三维网格，拓展了高斯泼溅在逆向渲染领域的应用，为虚拟现实、具身智能的仿真数据合成和各类下游应用提供新方案。总而言之，本文主要贡献如下：

• 高效训练：最小化联合优化SDF的消耗，提升解耦质量并保持训练效率。

• 高质量网络：利用SDF提取高质量的三维网格，无缝导入传统渲染引擎。

• 真实感渲染：具有良好的几何约束并结合延迟渲染技术，能对多种材质物体进行高真实感重光照。

• 开源代码：所有训练、测试代码以及模型文件均已开源，助力社区科研应用。

llustration From IconScout By IconScout Store

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

michellechang@thejiangmen.com

或添加工作人员微信（michelle333_）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈