NeurIPS 2025 | IBGS：NVIDIA提出突破高频细节与视角依赖的轻量级新视角渲染框架

随着三维重建与渲染技术的快速发展，3DGS已成为实时高质量新视角合成的重要方法。然而，传统3DGS受限于低阶球谐函数的表达能力，难以建模高频纹理细节，如镜面高光和反射效果。现有方法通常会采用逐高斯纹理图来提升效果，但这种策略会导致存储开销剧增，限制了其在实际场景中的应用。本文介绍一篇来自澳洲国立大学和NVIDIA合作完成的工作，提出了一种基于图像的高斯泼溅方法IBGS，通过引入图像引导的残差学习机制，可以在不增加存储负担的前提下，显著提升渲染质量与新视角建模能力。IBGS将像素颜色分解为基础色与残差色两部分，基础色由标准3DGS流程生成，残差色则通过轻量网络从邻近训练图像中提取高频细节与视角变化信息。实验表明，IBGS在多个标准数据集上获得了最优渲染质量，同时可以减少高达62%的高斯点数量，为实现高保真、高效率、强泛化能力的三维场景建模与渲染提供了可行路径，推动了实时神经渲染技术向真实复杂场景的进一步落地。

论文题目： IBGS: Image-Based Gaussian Splatting 文章链接： https://arxiv.org/abs/2511.14357 代码地址： https://github.com/HoangChuongNguyen/ibgs 项目链接： https://hoangchuongnguyen.github.io/ibgs

NeRF[1]和3DGS[2]是当前新视角合成的主流方法，3DGS因其实时渲染速度和高质量的新视角合成能力受到广泛关注。然而，传统3DGS方法存在一个关键限制：每个高斯图元在给定相机视角下仅能表达单一颜色，导致其难以有效重建场景中的高频细节。尽管有方法[3]采用低阶球谐函数（spherical harmonics, SH）进行颜色建模，但其严重的平滑性限制了模型对复杂视角依赖现象（如反射、镜面高光等）的刻画能力。为缓解这一问题，部分研究尝试引入逐高斯的纹理映射机制，但这些方法往往面临存储开销大、纹理难以泛化等问题。

二、本文方法

为了解决上述问题，本文提出了一种基于图像的高斯泼溅方法IBGS，IBGS的核心创新是不依赖额外的纹理图或高阶SH函数，而是直接利用训练图像中的高频细节和视角相关信息，通过学习残差的方式增强3DGS的基础渲染结果。

image.png

上图为IBGS的整体框架流程，每个像素的最终颜色 由两部分叠加而成：(1)基础颜色 （粉色框所示），由标准3DGS渲染流程通过球谐函数计算得到；(2)颜色残差 (绿色框所示），由一个轻量级网络根据多个源视图的扭曲颜色 预测得出。上图以两个源视图为例，IBGS支持使用任意数量的源视图。最终颜色合成表示为：

其中， 为预测颜色残差，由轻量级网络 预测，输入包括基础颜色 、射线方向 、从 个邻近视角提取的颜色特征 和相机位姿特征 。

2.1 源视图特征提取

为了获取用于残差预测的特征，IBGS需要从邻近训练图像中提取颜色和相机姿态信息。对于目标像素 对应的射线，计算其与每个高斯基元的交点 ：

仅保留累积透射率 的 个中位数交点（避免远离真实表面的高斯引入噪声）。将筛选后的交点 投影到第 个源视图，通过双线性插值获取投影颜色 ：

分别计算颜色特征 和相机姿态特征 ，详细计算过程如下：

2.2 颜色残差预测网络

残差预测网络 是一个轻量级模型，分为特征提取和CNN解码两部分。多视图特征提取采用PointNet的结构，处理任意数量的源视图特征：

其中， 为两层线性网络，用于编码单个源视图的颜色和姿态特征。对所有源视图的编码特征 进行最大池化，得到聚合特征 。将聚合特征图 、基础颜色图 、射线方向图 送入到 9 层的 3×3 卷积解码器中，得到颜色残差图 :

最后，将预测残差 添加到高斯栅格化图像中，从而得到最终图像。

2.3 曝光校正模块

为进一步解决训练图像曝光不一致问题，IBGS提出一种曝光校正策略，通过最小二乘法学习一个仿射变换矩阵 ，将目标视图的颜色校正到最邻近源视图的曝光水平：

其中， 为投影到最近源视图后坐标有效的像素集， 为最近源视图的投影颜色。校正后的颜色将用于后续的残差计算和最终图像合成。

三、实验效果

本文在标准新视角合成（NVS）基准数据集上进行了全面评估，包括Mip-NeRF 360（9个场景）、Tanks and Temples（2个场景）和Deep Blending（2个场景），并额外在挑战性视角依赖效应数据集Shiny（3个场景）上测试了模型对镜面高光、反射和衍射等复杂光学现象的建模能力。本文与五大类代表性方法进行了对比，包括传统神经渲染方法Mip-NeRF 360和Instant-NGP，原始3DGS方法，以及两种主流纹理增强变体SuperGauss和TexturedGauss。

评价指标涵盖PSNR（峰值信噪比）、SSIM（结构相似性指数）和LPIPS（学习感知图像块相似度）三大图像质量指标，同时关键性地记录了高斯基元数量和存储内存占用情况，全面衡量方法在质量与效率上的平衡。特别地，针对曝光不一致性这一实际难题，本文在Tanks and Temples数据集上专门测试了曝光校正模块的泛化能力，相比传统每视角曝光校正方法，IBGS首次实现了新视角曝光校正的零样本迁移。

3.1 定量分析

上表的实验结果展示了IBGS在三个基准数据集上的效果，尤其在处理高频细节与视角依赖效应方面表现优异。更为突出的是，IBGS在保持最高渲染质量的同时，大幅减少了高斯数量与存储占用，有效解决了以往方法在存储开销与泛化能力之间的权衡难题。这也验证了其所提出的图像引导残差学习机制能够以更精简的场景表达实现更逼真的渲染效果。

上表展示了IBGS在专门测试视角依赖效果的Shiny数据集上的效果。IBGS在处理镜面高光、反射等复杂效果时展现出更好的性能，其PSNR相比最佳基线提升了超过5dB，LPIPS也大幅降低，证明其渲染结果在视觉感知上更为逼真。

3.2 定性分析

为了进一步评估本文方法的有效性，作者还进行了详细的定性分析，可视化结果如下图所示。

在前两行高频细节场景中，IBGS能重建出逼真纹理，而3DGS和SuperGauss的结果则模糊平滑。

例如在吉他场景的对比中，传统3DGS和SuperGauss虽然能还原基础颜色，却都无法捕捉木质表面的细微纹理，使得琴身呈现不自然的塑料质感，同时其渲染的镜面高光边缘模糊、缺乏真实感。左侧的IBGS基础图像与3DGS结果几乎一致，证实了传统高斯渲染的固有局限。中间的残差图精准地包含了缺失的木材纹理图案和锐利的镜面光斑。

3.3 消融实验

作者额外进行了消融实验来验证了本文方法的有效性，下图通过对比曝光校正前后的渲染结果进行分析，结果显示，在未使用校正时渲染图像会出现明显的过暗或过亮问题，而启用校正后图像亮度均被自适应调整至自然范围，暗部细节得以保留，过曝区域也得到抑制。

这证明了IBGS所采用的曝光校正策略，能够成功解决多视角图像曝光不一致的难题，显著提升渲染结果的视觉质量与鲁棒性。

上表主要验证了IBGS各关键组件对最终性能的贡献，包括颜色残差、颜色一致性损失、多视图特征选择方式，以及曝光校正对渲染质量的影响。IBGS的核心贡献来自颜色残差模块，一旦移除，渲染质量显著下降，PSNR在TNT中直接降了近1.8dB，说明该模块是恢复高频纹理和视角依赖效果的关键。颜色一致性损失 虽然作用相对较小，但能提升跨视图的几何对齐稳定性。曝光校正在曝光不稳定的数据集（如 Tanks & Temples）中尤为重要，可以有效地提升亮度一致性。

四、总结

IBGS通过将图像渲染与3D高斯泼溅技术巧妙融合，突破了传统方法在刻画高频纹理和视角依赖效果上的固有瓶颈。它以3DGS渲染出的基础颜色为主体，再利用轻量级网络从邻近训练图像中提取并学习颜色残差，用以补充精细纹理与随视角变化的真实光效。同时，IBGS还设计了基于邻近视图的曝光校正机制，有效解决新视角渲染中常见的亮度不一致问题。IBGS最终呈现出的画面不仅细节更清晰、反射更逼真，而且存储开销更低。在多项基准数据集上，IBGS的表现均显著优于传统3DGS，为虚拟现实、影视特效等高保真渲染场景提供了更可靠的技术路径，推动3D重建迈向更加真实和实用的落地阶段。

参考

[1] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J]. Communications of the ACM, 2021, 65(1): 99-106.

[2] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian splatting for real-time radiance field rendering[J]. ACM Trans. Graph., 2023, 42(4): 139:1-139:14.

[3] Chao B, Tseng H Y, Porzi L, et al. Textured gaussians for enhanced 3d scene appearance modeling[C]//Proceedings of the Computer Vision and Pattern Recognition Conference. 2025: 8964-8974.

llustration From IconScout By IconScout Store

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

michellechang@thejiangmen.com

或添加工作人员微信（michelle333_）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈