众趣分享丨浅谈空间计算技术基础---3D 高斯泼溅

2023 年图形学顶会 Siggraph 中的一篇文章《3D Gaussian Splatting for Real-Time Radiance Field Rendering》一跃而出，跳脱出几何重建-纹理映射-三维渲染的传统建模管线的限制，第一次提出结合 3D 高斯椭球显示表达与可微分渲染的全新框架，让大家看到了真实感场景重建的康庄大道，一时间整个图形学、计算机视觉圈子甚嚣尘上，各种 3DGS 的改进方法宛如过江之鲫。随即，其应用落地如雨后春笋般蔓延至各行业。

数字孪生、文物保护、影视游戏、工业检测等领域纷纷引入，凭借 3DGS 高精度与实时性优势，重塑场景重建与渲染范式。

一、什么是高斯泼溅 3DGS？

3D Gaussian Splatting（3DGS）是一种用于 3D 场景重建和实时渲染的突破性技术。它的名字本身就揭示了其核心思想，可以分解为两个部分来理解：“Gaussian”和“Splatting” 。

这两个概念的结合，构成了 3DGS 强大能力的基石，使其能够在不依赖任何神经网络的情况下，实现照片级的实时渲染效果。3DGS 是一种用大量微小的、可学习的、半透明的“高斯椭球”作为基元来“绘制”整个 3D 场景的方法，并通过一种高效的投影渲染技术将这些 3D 基元呈现在 2D 屏幕上。

高斯椭球是 3DGS 技术中用于表示场景的核心元素。与传统的基于 Mesh（三角形图元）的渲染不同，高斯椭球本质是三维空间中的正态分布，其概率密度函数描述了空间中场景信息的分布规律。对于每个高斯椭球，以均值(μ)为中心，概率密度函数为：

Σ 是 3x3 的协方差矩阵，决定了高斯椭球的形状、大小和朝向。对于空间中的任意点 x，G(x) 表示该点的高斯分布强度。

3DGS 使用一个完整的 3D 高斯分布来定义场景中的一个微小区域。一个 3D 高斯分布由两个主要参数决定：均值（Mean, μ）和协方差矩阵（Covariance, Σ） 。

• 均值（μ）：这是一个三维向量，代表了高斯分布的中心位置，即这个“高斯椭球”在 3D 空间中的中心点坐标。这与三维重建中的点云点在概念上是相似的。
• 协方差矩阵（Σ）：这是一个 3x3 的对称正定矩阵，它定义了高斯分布的形状、大小和方向。在几何上，一个 3D 高斯分布可以被可视化为一个椭球体（Ellipsoid）。

协方差矩阵的特征向量决定了椭球体的三个主轴的方向，而其特征值（或特征值的平方根）则决定了椭球体在这三个主轴方向上的半径（即尺度）。通过这种方式，一个3D高斯点不仅仅是一个位置，而是一个具有明确体积、形状和朝向的实体。除了位置和形状，每个高斯点还关联着另外两个关键属性：颜色（Color，c） 和不透明度（Opacity，α）。颜色决定了该高斯点在渲染时对最终像素颜色的贡献，而不透明度则决定了它的“透明度”，这对于后续的混合渲染至关重要。高斯椭球的颜色信息通过球谐函数（Spherical Harmonics）表示，它可表示视角相关的颜色变化，如金属反光、透明物体的折射等。

下图展示了球谐函数Spherical Harmonics对三维形状的近似/重构效果。可见低阶球谐函数捕捉全局平滑特征，高阶球谐函数捕捉局部细节。使用 SH 低阶球谐函数可以近似场景的光照环境，使椭球能根据观察方向动态调整颜色，实现高效的实时渲染。

3DGS 丰富的参化表示，使得单个高斯点能够表达比传统点云更复杂的几何和光学信息，为高质量的场景重建奠定了基础。

“Splatting”一词源于计算机图形学，指的是将 3D 空间中的点或体素“溅射”或“投影”到 2D 图像平面上的过程。在 3DGS 中，Splatting 特指将 3D 高斯椭球投影到相机成像平面上的过程。这个过程是 3DGS 实现高效渲染的核心。具体来说，给定一个3D高斯点以及相机的内外参数，Splatting 过程会计算出这个 3D 椭球在 2D 图像平面上的投影。这个投影结果是一个 2D 的椭圆，其中心、形状和大小由 3D 高斯点的参数和相机视角共同决定。这个 2D 椭圆被称为高斯点的“足迹”（Footprint）。渲染过程并非简单地将这些椭圆画在屏幕上。

相反，3DGS 采用了一种基于深度排序和 Alpha 混合的体素渲染思想。对于图像上的每一个像素，算法会遍历所有投影后与该像素相关的 2D 高斯椭圆。这些椭圆会根据其深度（即 3D 高斯点到相机的距离）进行排序。然后，从前到后（或从后到前）依次计算每个椭圆对该像素颜色的贡献，并通过 Alpha 混合公式将它们累积起来，直到像素颜色达到饱和（不透明度接近1）或者所有相关的高斯点都被处理完毕。

这种基于 Splatting 的渲染方法，结合 GPU 的并行计算能力，使得 3DGS 能够以极高的效率完成整个场景的渲染，从而实现实时交互 。

下图一包含了数百万个高斯椭球的未融合效果；

图二是采用 Splatting 渲染后的效果。

二、如何构建3DGS？

首先采集多张不同视角的彩色图片覆盖待重建场景，然后构建初始点云。3D Gaussian Splatting 的训练过程始于一个初始的场景表示。与 NeRF 等完全随机初始化的方法不同，3DGS 需要一个相对准确的初始几何结构来“播种”其高斯点。这个初始几何结构通常包含一组 3D 点云，该点云可以是通过 Structure-from-Motion（SfM）算法从输入的多张彩色图片中计算得出的稀疏点云，也可以是通过激光传感器扫描场景重建得到的稠密点云。这个初始化步骤至关重要，它为后续的优化过程提供了一个坚实的起点，大大缩短了训练时间并提高了最终重建的质量。此外还要提供每张采集的彩色图片对应的相机内参和外参（即相机位姿）。这些信息对于 3DGS 的训练也是至关重要的。

下一步就是将点云中的每一个3D点初始化为一个3D高斯椭球。这个过程为每个高斯点赋予了初始的参数值。

• 位置（μ）：每个高斯点的初始位置 ，直接设置为点云中对应点的 3D 坐标。
• 颜色（c）：初始颜色可以通过将该 3D 点投影到所有能看到它的图像上，然后对这些图像上的像素颜色进行平均或中值滤波来得到。在简化实现中，也可以随机初始化。
• 不透明度（α）：不透明度通常初始化为一个较小的常数值，例如 0.1，表示初始时所有点都是半透明的。
• 协方差（Σ）：协方差的初始化更为关键。为了初始化椭球的形状和大小，通常会利用点云的局部几何信息。

除了使用点云中的点进行初始化，3DGS 还会在场景中随机初始化一些额外的高斯点，以覆盖那些可能被遗漏的区域。这些随机初始化的点有助于填充场景中的空洞，并捕捉更完整的几何细节。通过这种方式，3DGS 从一个由初始点云引导的、包含数万个初始高斯点的场景表示开始，进入后续的优化和自适应密度控制阶段。在迭代的过程中，3DGS 会识别出欠重建和过重建两种情况：

• 欠重建（Under-Reconstruction）：现有高斯椭球无法覆盖重建区域，对已有的高斯椭球进行克隆。
• 过重建（Over-Reconstruction）：现有高斯椭球覆盖范围超过重建区域，对已有的高斯椭球进行分割。

通过自适应密度控制的方法，3DGS 能够有效地自动拟合复杂的几何表面，重建模型接近真实物体，渲染真实感更强。下图展示了采用 sfm 构建 3DGS 的全流程。

三、为什么3DGS如此革命性？

3DGS 擅长捕捉细节和复杂的光影效果，如反射和折射，实现高度逼真的渲染效果。

• 效率：与数据庞大的神经网络（如 NeRF）相比，3DGS 更为简洁，需要的存储和计算能力更少。
• 速度：3DGS 能够实现实时或接近实时的渲染速度，适合交互式应用。
• 可扩展性：能够高效处理包含数百万个溅射点的复杂场景，不影响性能。

3DGS 方法成功的关键在于不追求物体的显示几何表示，不需要点云、网格等形体表达，因为真实世界中恰恰有许多物体难以显示、完整表达，例如树叶、玻璃、烟雾、水面、发丝等等。

然而对于好的元宇宙体验来说，只需要渲染逼真、具备可交互性就够了，而这刚好是 3DGS 表示方法擅长的。其基本思想是在空间中分布大量的椭球体，每个椭球体形状、大小、位置各异。每个椭球体上都定义了球谐函数, 可以方便地转换任意角度的光照。因而将所有椭球体投射到某个视角，就能渲染出一张图像，利用该图像与输入的拍摄图像做比较，通过衡量其差异，就可以借此训练出空间中各个椭球体的形状、大小、位置、SH、透明度等参数。

无论场景中是人、车、水、树还是其他物体，都能在同一个框架内完成训练，使得场景重建的方法第一次高度统一、简洁且优雅。

空间智能解决方案服务商众趣科技正是利用了高斯泼溅技术的这一技术优势，将它和经典三维重建技术进行融合，既发挥了高斯泼溅技术的优势，同时也和经典三维技术的生态结合起来，综合发挥各自的优势，让三维数字孪生技术行业落地更具现实意义。

四、高斯泼溅能应用在哪里？

3DGS 作为一种高效且高质量的三维重建与渲染技术，具有实时性好、重建质量高、可编辑性强等优点，在实际应用中具有广阔前景。

3DGS 漫游效果

房产 VR：3DGS 可以提升房产 VR 体验 、解决渲染慢、采集成本高的痛点。在采集侧，使用普通相机就能快速生成高精度房源模型，同时支持无极漫游、动态光影模拟与个性化装修预览。此外 3DGS 还可以实现楼盘的全景展示，既提升用户沉浸体验和决策效率，又帮助企业降本增效，加速行业数字化转型。

影视娱乐：传统上高质量的 3D 渲染往往需要耗费大量时间和计算资源，而 3DGS 技术则能在保持高质量的同时，实现更快的渲染速度，这对于电影、动画和游戏等需要快速迭代和实时反馈的场景尤为重要。在如今这个虚拟与现实交融的时代，虚拟制作、AI 辅助创作等技术都在持续突破，3DGS 也展示出卓越的新视角合成质量和实时渲染速度，让影视娱乐的边界无限延伸，创造出更多的可能性。

文旅产业：在文物数字化保护和互动传播方面，高斯泼溅技术也能够起到至关重要的作用。文物三维数字化成果是助力弘扬中华文化，保护历史文物的重要载体，利用 3DGS 技术建立文物古迹的三维数据，精确还原文化和文物遗产作为数字资产，为文化遗产的保护修缮和古迹研究提供数据支撑。结合沉浸式 VR 体验技术开展虚拟展览、虚拟文化遗产体验，实现千年文化与现代科技交相呼应，延续历史文脉，坚定文化自信，推动中华优秀传统文化创造性转化和创新性发展。

自动驾驶：基于 3DGS 能够实现精确的地图构建，有助于自动驾驶系统更准确地感知周围环境。还能快速渲染和更新车辆周围的三维场景，帮助系统实时处理大量数据，做出快速反应，提升自动驾驶的安全性和可靠性。

建筑行业：3DGS 技术在建筑行业的应用广泛，涵盖建筑设计与可视化、虚拟现实与增强现实、施工规划与管理、市场推广与销售、教育与培训等多个环节，能提升制作效率和交付质量，推动了行业数字化发展。

工业领域：通过 3DGS 生成的高精度模型，可用于检测产品缺陷，确保生产质量。结合机器视觉，实现自动化检测，提高生产线的效率和精度。3DGS 技术能够快速生成高质量的工业设计模型，帮助设计师在早期阶段验证设计概念，减少物理原型的需求。生成设备的三维模型，帮助技术人员远程诊断和维护，减少停机时间。创建虚拟环境，用于培训维修人员，提升操作熟练度。通过3D模型优化仓库布局和库存管理，提升物流效率。模拟运输过程，优化路线和装载方案，降低成本。