SIGGRAPH 2024 | 从Mip-NeRF和Zip-NeRF到Rip-NeRF

该工作提出了Rip-NeRF，是一种多平面抗锯齿3D场景表示。它将各向异性预滤波与正多面体投影相结合，以快速的训练时间捕获高频各向异性细节。在blender数据集上，可以在接近Zip-NeRF一半的训练时间内实现更高的PSNR(2.6h vs 4.5h, 37.23 vs 36.69)。其他基于三平面的3DGS/NeRF方法可以即插即用，进一步提升渲染质量。文章发表在SIGGRAPH 2024上。

论文题目： Rip-NeRF: Anti-aliasing Radiance Fields with Ripmap-Encoded Platonic Solids 论文链接： https://arxiv.org/pdf/2405.02386 代码链接： https://github.com/JunchenLiu77/Rip-NeRF 项目主页： https://junchenliu77.github.io/Rip-NeRF/

图1 多分辨率blender数据集上的定性与定量结果

一、动机

开创性的神经辐射场(NeRF)使用神经网络将场景表示为连续的5D函数，该函数定义为某个3D位置和方向上沿射线的辐射和密度。它们在许多任务中取得了重大进展，例如新视图合成、几何重建、内容生成、仿真和自动化。

图2 各向同性和各向异性面积采样

NeRF中的锯齿伪影仍然是一个具有挑战性的问题，这是由连续物理世界的离散采样引起的。作为先驱，Mip-NeRF提出了一种用于纯隐式表示的分析集成位置编码，以促进抗锯齿渲染。然而，它的训练速度和渲染质量都受到纯隐式表示的限制。为此，Zip-NeRF和Tri-MipRF分别基于混合表示以多重采样和面积采样(也称为预滤波)的形式提出了抗锯齿机制。然而，多重采样本质上需要大量样本来对单个区域进行特征化，这使其在渲染质量和计算开销之间陷入两难境地。

另一方面，Tri-MipRF的面积采样更加高效，因为它可以直接对子体积进行特征化。然而，其各向同性机制显著限制了表示体积渲染中锥体投射方法普遍产生的各向异性区域的能力。如图2(a)所示，各向同性面积采样无法区分来自不同锥体的各向异性区域，这导致表示中存在歧义。因此，如图1所示，在这种各向同性面积采样下，可以观察到麦克风表面的模糊。

在本文中，我们提出了一种用于高保真抗锯齿神经辐射场的Ripmap编码正多面体表示，称为Rip-NeRF。它能够使用各种形状更精确地对3D区域进行特征化，每个区域只需一个样本，这样在我们的表示下，来自不同锥体的各向异性区域是可区分的，如图1(b)所示。

实现这一点的关键在于两种技术，即正多面体投影和Ripmap编码。一方面，正多面体投影是一种3D空间分解方法，它将3D区域投影到正多面体的不平行面上。通过这样做，我们可以用2D特征网格而不是3D体积精确地表示3D场景，内存消耗从 显著减少到 。请注意，经典的正交三平面表征可以从正六面体(立方体)投影中得到。另一方面，Ripmap编码可以使用Ripmap(也称为各向异性Mipmap)对投影的各向异性2D区域进行特征化，Ripmap是一个使用各向异性核预滤波的特征网格，用于表示正多面体的面。

与Tri-MipRF的三平面分解和各向同性面积采样(Mipmap)相比，我们的正多面体投影与Ripmap编码相结合，能够以高效的预滤波方式更精确地对各向异性3D区域进行特征化，从而可以重建和渲染麦克风重复图案上更清晰、更准确的细节，如图1所示。

为了评估我们的Rip-NeRF的有效性，我们在公开基准测试和新捕获的真实世界数据集上进行了广泛的实验，定量和定性结果表明，我们的Rip-NeRF在保持高效重建的同时实现了最先进的渲染质量。此外，消融研究也证明了我们提出的单个组件(即正多面体投影和Ripmap编码)的有效性。此外，我们的正多面体投影通过选择具有一定数量面的不同正多面体，引入了渲染质量和效率(例如训练时间和GPU内存消耗)之间的灵活权衡。我们的贡献总结如下。

• 我们提出了一种3D空间分解方法，正多面体投影，用正多面体的2D面表示3D场景，这样各向异性3D区域可以投影到具有可区分表征的平面上。

• 我们用Ripmap编码表示正多面体的面，这样投影的各向异性2D区域可以通过各向异性面积采样精确高效地进行特征化。

• 我们的Rip-NeRF在公开基准测试和新捕获的真实世界数据集上实现了最先进的渲染质量，同时保持了高效的重建。它还实现了质量和效率之间的灵活权衡。

二、方法

2.1 总览

图3 Rip-NeRF方法总览

与Instant-NGP，Zip-NeRF和Tri-MipRF类似，Rip-NeRF采用了一种混合表示，以同时受益于显式和隐式表示的效率和灵活性。

如图3所示，为了渲染一个像素，我们为它投射一个圆锥并将圆锥划分为多个圆锥台，类似于Mip-NeRF，Zip-NeRF和Tri-MipRF，这有效地避免了在图像平面上对连续信号进行离散的基于点的采样。要对一个圆锥台进行特征化，在混合表示中有两种策略:Zip-NeRF使用的Multi-Sampling（多重采样）和Tri-MipRF使用的Area-Sampling（面积采样）。我们采用效率更高的后者，和Mip-NeRF一致，我们首先用均值和协方差为 的各向异性3D高斯分布来表征圆锥台，然后用我们提出的正多面体投影和Ripmap编码对其进行特征化。

与将圆锥台粗略地表征为各向同性球体的Tri-Mip编码不同，我们的正多面体投影与Ripmap编码结合可以精确地对各向异性3D高斯分布进行特征化，这将在后面的章节中介绍。在对圆锥台进行特征化之后，我们使用一个小型MLP来估计圆锥台的颜色 和密度 ，然后通过NeRF体渲染来渲染像素颜色，并采用渲染图像和观测图像之间的光度损失进行端到端优化。

2.2 Ripmap编码

在介绍如何通过投影对各向异性3D高斯分布进行特征化之前，我们首先介绍各向异性2D高斯分布的特征化，这是3D情况的基础。

图4 Mipmap和Ripmap中各向同性(a)和各向异性(b)面积采样在表征投影高斯分布时的对比

Tri-MipRF提出使用包含可学习特征的2D Mipmap来支持对各向同性圆盘的面积采样。然而，如图4(a)所示，Tri-MipRF的各向同性Mipmap结构使其采样区域为正方形，这不能精确地表征投影的各向异性2D高斯分布，其AABB本质上是一个矩形。在传统图形学中，当视线方向与UV纹理的一个轴紧密对齐时，由于在纹理空间中采样密度的显著差异，会产生明显的走样，因此提出了各向异性面积采样来解决这个问题。在各种解决方案中，Ripmap由于其有效性和简单性而成为一种流行的方法，它根据入射角动态调整预滤波核的纵横比。

受此启发，我们提出了Ripmap编码，使用具有可学习参数的Ripmap来实现神经渲染中的各向异性面积采样，从而可以更精确地表征高斯分布的各向异性椭球形足迹，如图4(b)所示。

2.2.1 Ripmap构建

Ripmap编码 包含 个级别，其中基础级别 是一个形状为 的2D特征网格F，其中 分别是高度、宽度和通道数。其他级别通过在低级特征网格上执行各向异性平均池化 和 来构建:

其中 和 分别是 和 方向上的级别索引。注意，只有基础级别是可学习的，而其他级别都是从它派生出来的，这使得Ripmap编码紧凑并且在各个级别之间保持一致。

2.2.2 Ripmap查询

构建了Ripmap编码后，我们就可以通过使用四线性插值查询Ripmap编码来对各向异性2D高斯分布进行特征化:

其中 和 分别是插值中使用的位置和级别。四线性插值的数学表达式请参考原文补充材料。查询位置和级别分别对应于采样区域的位置和大小，我们从高斯分布的均值和协方差 中导出:

其中 分别是沿 和 轴的标准偏差， 是一个超参数，用于调整高斯足迹的概率质量覆盖量， 是重建场景的包围球半径。

2.3 正多面体投影

EG3D，TensoRF和Tri-MipRF等工作已经证明，将3D空间分解为一组2D平面是有效且紧凑的。因此，对于2D面积采样提出的Ripmap编码，精确特征化各向异性3D高斯分布的关键是如何将它们投影到2D平面上。

图5 使用更多平面的必要性

Tri-MipRF将各向同性3D球体投影到三个正交的2D平面上，然而，这种策略在处理各向异性3D高斯分布时效果不佳。由于内外参数的任意性，圆锥投射产生的3D高斯分布几乎随机分布在欧几里得空间中，具有各种形状。因此，不同的3D高斯分布在投影到平面时可能具有相同的2D AABB，例如，在图5(a)中，两个主轴分别与立方体的两个不同体对角线对齐的3D椭球体，这使得它们在Ripmap编码下无法区分。

为了解决这个问题，我们将3D高斯分布投影到更多适当分布在3D空间中的平面上，然后将从这些平面查询到的特征连接在一起，这样不同高斯分布的2D AABB就可以更易区分，高斯分布的派生特征也更有判别力，如图5(b)所示。

2.3.1 平面的取向和轴

基于上面的例子我们认为，平面取向越多样化，其表示能力就越强。为了验证这一点，我们尝试了三种方法来均匀分布平面(正多面体的面、黄金螺旋（golden spiral）和球面蓝噪声（spherical blue noise）。我们还尝试了一种对照组方法，即采用球面白噪声（spherical white noise）来确定平面，这些平面的多样性稍差。我们发现，均匀分布组的性能明显优于对照组，而三个均匀分布组的性能相似。因此，为了简单和良好的性能，我们选择了正多面体投影，将各向异性3D高斯分布投影到正多面体（即四面体、立方体、十二面体和二十面体）的不平行面上，这些面是全等的规则多边形，具有相等的二面角，如图6所示。

图6 常见正多面体

Mip-NeRF360中也采用了类似的策略来为3D高斯分布导出非轴向积分位置编码特征。区别在于，我们使用的正多面体投影显式地将高斯分布投影到平面上，以使用Ripmap编码进行面积采样。我们的正多面体投影还通过选择具有一定数量面的不同正多面体，提供了渲染质量和效率之间的灵活权衡，这将在表2中进行演示。具体而言，我们将平面及其向外法向量分别表示为 和 ，其中 是所选正多面体的面数。平面 的局部2D轴 和 用于为Ripmap编码分配网格，应该与平面法向量 垂直。给定世界坐标系的单位向量 , , ，我们将它们定义为:

2.3.2 各向异性3D高斯分布的特征化

在定义了平面的取向和轴之后，我们可以将由均值 和协方差 表征的各向异性3D高斯分布投影到每个平面 上:

其中 是将3D世界坐标系映射到平面 的2D坐标系的投影矩阵， 和 是平面 上投影的2D高斯分布的均值和协方差。然后，我们可以从每个平面 的Ripmap编码中查询特征向量 。最后，我们将来自相应平面 的所有特征向量 连接起来，形成3D高斯分布的最终特征向量 。

三、实验

实现细节、单尺度blender数据集结果、真实数据集结果请参考paper原文，这里仅给出多尺度blender数据集和消融实验的实验结果。其中，Rip-NeRF ，是Rip-NeRF经过 次迭代训练的版本，完整版本经过了 次迭代。

3.1 多尺度Blender数据集上的评估

与Mip-NeRF和Tri-MipRF一样，为了评估渲染抗锯齿和精细图像细节的能力，我们在多尺度Blender数据集上对我们的Rip-NeRF进行了测试。由于某些方法未针对变量距离或多分辨率的捕获进行优化,为了公平比较,我们将面积损失 纳入所有方法。所有方法都在合并的训练和验证拆分上重新训练,并在测试拆分上进行评估,使用它们的官方实现,与Tri-MipRF保持一致。

表1 多尺度blender数据集上的定量结果

定量结果在表1中给出,我们使用PSNR、SSIM和VGG LPIPS指标评估渲染质量。为了评估计算和存储的效率，我们报告了在NVIDIA A100-SXM4-80GB GPU上的平均训练时间和模型大小。我们可以看到，没有抗锯齿设计的方法，即NeRF、TensoRF、Instant-NGP和3DGS，在多尺度设置下表现不佳，这是在连续物理空间中离散采样的结果。重要的是,我们的Rip-NeRF在PSNR和LPIPS指标方面始终优于所有其他最先进的方法，甚至优于强大的Tri-MipRF和Zip-NeRF。虽然Zip-NeRF在SSIM指标方面略有优势，但它需要近两倍的训练时间（4.5小时对2.6小时）和四倍的模型大小（592 MB对160 MB）。

值得注意的是，我们的方法的变体Rip-NeRF ，将训练迭代次数从 减少到 ，也取得了与Zip-NeRF相近的结果，但只需要11.76%的训练时间（4.5小时对32分钟）。此外，Zip-NeRF在训练期间的GPU内存消耗约为80 GB，这对于一些消费级GPU（例如NVIDIA GeForce RTX 4090等）来说是不可行的，而Rip-NeRF的GPU内存消耗仅为20 GB。并且，在这个实验设置中，我们的Rip-NeRF的渲染速度约为3 FPS，优于Zip-NeRF(0.25 FPS)。诚然，Zip-NeRF是为更一般的无界场景设计的，我们相信其性能可以进一步优化，以适用于有界物体。但我们的工作证明了面积采样对于高保真抗锯齿渲染的有效性。我们的Rip-NeRF的有效性、效率和紧凑性归功于我们的Ripmap编码的正多面体表示，它实现了3D空间的高效各向异性面积采样。相比之下，Zip-NeRF中的多重采样机制是有效的，但效率不够高，它本质上需要大量样本来对单个区域进行特征化，使其在渲染质量与计算和存储效率之间陷入两难境地。

图7 多分辨率训练，全分辨率渲染结果

为了定性评估我们的Rip-NeRF的性能，我们将其与Tri-MipRF和Zip-NeRF进行了比较，因为它们是与我们的方法最相关的方法，并且在多尺度设置下定量表现良好。我们在图7中比较了三种方法的全分辨率渲染结果，可以看到我们的Rip-NeRF在具有挑战性的外观和几何区域(例如"drums"场景中锣上的各向异性镜面高光、"ship"场景中的细绳以及"mic"场景中的周期性网格)实现了最佳的渲染质量。

图8 多分辨率训练，多分辨率渲染结果

除了评估全分辨率渲染，我们还在图8中展示了三种方法在 、 和 分辨率下的渲染结果，以证明我们的Rip-NeRF在抗锯齿和保留精细细节方面的有效性。我们可以看到在较低分辨率的场景中，我们的Rip-NeRF方法表现优于其他两种方法。值得注意的是，麦克风上的周期性特征，在Tri-MipRF渲染的图像中显得模糊，在Zip-NeRF渲染的图像中出现锯齿，而在我们的结果中渲染得更加逼真。这些定性发现进一步证实了Rip-NeRF在生成高保真抗锯齿图像方面的有效性，证明了它在各种分辨率设置下的稳健性。

3.2 消融实验

在我们的消融研究中,我们评估了我们方法的关键组件。Rip-NeRF w/o PSP使用正交三平面和各向异性面积采样来评估排除正多面体投影的影响。为了检查各向异性面积采样的作用，Rip-NeRF w/o RE采用各向同性mipmap，使用来自二十面体的10个不平行平面，采用nvdiffrast进行mipmap构建。消融实验都训练了25000次迭代。

表2 消融实验定量结果

我们在多尺度Blender数据集上进行的实验的定量结果在表2中详细说明。我们的发现表明，每个组件(柏拉图立体投影PSP和Ripmap编码RE)的独立应用只能产生适度的改进。具体而言，仅使用PSP会导致平均PSNR仅增加0.37%，而仅使用RE会略微降低所有三个指标。然而，当PSP和RE在我们的Rip-NeRF 模型中结合时，它们会产生协同效应:平均PSNR增加3.44%，SSIM和LPIPS显著超过Tri-MipRF。这种协同作用表明，整体大于部分之和。虽然PSP单独改善了椭球足迹与2D网格的对齐，但它仍然依赖于方形查询区域。仅使用3个平面的Ripmap编码无法很好地对不同高斯分布的细微差别进行建模。

在我们关于正多面体选择的消融研究中,我们尝试了立方体(PS3)、四面体(PS4)和十二面体(PS6)。在这个消融实验中，我们通过增加PS3、PS4和PS6的网格分辨率来进行实验，以保持总参数数量与我们的完整方法(160MB)相同。从PS3到我们的完整模型(PS10)，训练时间增加了28%。在tri-mip编码方法上应用更多平面只能产生最小的增强，这表明ripmap克服了模型表达能力限制。

四、总结展望

在这项工作中，我们提出了一种用于神经辐射场的Ripmap编码正多面体表示，称为Rip-NeRF。我们的Rip-NeRF可以渲染高保真抗锯齿图像，同时保持效率，这得益于提出的正多面体投影和Ripmap编码。正多面体投影将3D空间分解到特定正多面体的不平行面上，这样各向异性3D区域可以投影到具有可区分表征的平面上。而Ripmap编码通过各向异性面积采样，使投影的各向异性区域的特征化既精确又高效。这两个组件协同工作，精确高效地对各向异性3D区域进行特征化。它在合成数据集和真实世界捕获上都实现了最先进的渲染质量，特别是在结构和纹理的精细细节方面表现出色，这验证了所提出的正多面体投影和Ripmap编码的有效性。

参考资料

[1] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J]. Communications of the ACM, 2021, 65(1): 99-106.

[2] Müller T, Evans A, Schied C, et al. Instant neural graphics primitives with a multiresolution hash encoding[J]. ACM transactions on graphics (TOG), 2022, 41(4): 1-15.

[3] Chan E R, Lin C Z, Chan M A, et al. Efficient geometry-aware 3d generative adversarial networks[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022: 16123-16133.

[4]Barron J T, Mildenhall B, Tancik M, et al. Mip-nerf: A multiscale representation for anti-aliasing neural radiance fields[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 5855-5864.

[5]Barron J T, Mildenhall B, Verbin D, et al. Mip-nerf 360: Unbounded anti-aliased neural radiance fields[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 5470-5479.

[6] Hu W, Wang Y, Ma L, et al. Tri-miprf: Tri-mip representation for efficient anti-aliasing neural radiance fields[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 19774-19783.

[7] Barron J T, Mildenhall B, Verbin D, et al. Zip-nerf: Anti-aliased grid-based neural radiance fields[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 19697-19705

llustration From IconScout By TanahAir Studio

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（

www.techbeat.net

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈