CVPR 2025 | RainyGS：基于高斯泼溅的实时降雨物理仿真

该工作提出了一种将物理模拟与3D高斯泼溅表示相结合的动态雨景合成框架，能够在任意真实世界场景中，实时高效地（超过30fps）生成具有物理真实感的动态雨水、涟漪及反射效果，为自动驾驶、虚拟现实及游戏等领域提供了强大的天气模拟与数据增强工具。

论文标题： RainyGS: Efficient Rain Synthesis with Physically-Based Gaussian Splatting 论文链接： https://arxiv.org/abs/2503.21442 项目主页： https://pku-vcl-geometry.github.io/RainyGS/

近年来，面向真实世界场景的动态天气效果合成，在计算机图形学、自动驾驶和虚拟现实等领域获得了广泛关注。以神经辐射场 (NeRF) 和3D高斯泼溅 (3DGS) 为代表的场景建模技术，虽然在静态场景的新视角合成方面取得了巨大成功，但通常难以胜任基于物理的复杂动态编辑任务，例如逼真的降雨模拟。另一方面，传统的物理模拟方法能够生成真实的雨滴和水花效果，这些方法通常需要依赖专业艺术家为特定场景进行手动设置，整个过程缺乏灵活性与可扩展性，难以应用于广泛的开放世界环境。因此，如何在保持物理准确性的同时，高效地为任意真实场景增添可控的动态降雨效果，成为了一个亟待解决的挑战。

本文介绍的RainyGS模型，则通过一种将物理建模与高斯泼溅技术相结合的新颖框架，系统性地解决了上述挑战。首先，该方法利用多视图输入图像，通过3DGS技术重建场景的外观与几何结构。随后，其核心在于将基于物理的浅水模拟技术 (shallow-water simulation) 与快速的高斯泼溅渲染框架相结合：通过从三维场景中提取高度图 (height map)，模型可以在其上高效地模拟雨水在地面上的动态累积、涟漪和飞溅效果。在渲染阶段，RainyGS利用屏幕空间光线追踪等高效技术，精确地合成水面的反射、折射等高阶光学效果。通过这种物理模拟与高效渲染相结合的设计，RainyGS实现了超过30帧/秒的实时渲染速度，并支持用户从毛毛细雨到倾盆大雨的灵活强度控制，在视觉真实感和物理准确性上均超越了现有方法。

二、技术贡献

本工作主要贡献如下：

• 引入了一种基于物理的动态水体模拟框架，以从3DGS重建场景中提取的高度图为基础，构建了一套能在二维平面上高效模拟雨水累积、涟漪与飞溅等复杂流体动力学的浅水模拟系统；

• 设计了一种高效的水体光学效果渲染管线，实现了一套能够实时生成水面镜面反射、折射与高光等高阶效果的光栅化渲染流程；

• 提出了一种动静结合的统一场景表示与渲染框架，将静态场景与动态生成的水体、雨滴统一建模为高斯椭球体，通过一次前向渲染即可完成所有元素的无缝融合，从而保证了跨视角的几何一致性与最终效果的逼真度。

下表是RainyGS与其他方法在“Garden”场景下的性能定量对比。如表所示，RainyGS在渲染速度（单帧耗时）和显存占用上均表现出显著优势。相比于PGSR，RainyGS仅增加了极小的计算开销，但其渲染速度（0.032秒/帧）远超于基于光线追踪的方案（1.942秒/帧）和主流视频生成模型Runway-V2V（约0.48秒/帧）。这一结果表明，RainyGS在计算效率与资源控制方面更加出色，能够在保证高视觉保真度的同时，实现超过30fps的实时交互性能：

表1 在“Garden”场景下不同方法的性能开销定量比较 三、方法介绍

为实现对开放世界场景高效且物理真实的动态降雨模拟，RainyGS设计了一套将物理建模与高斯泼溅渲染深度融合的框架。其流程首先利用多视图图像，通过改进的3D高斯泼溅技术重建出兼具高保真外观与高精度几何的场景表示；随后，从重建场景中提取关键的二维高度图，作为物理模拟的载体；接着，在高度图上运行高效的浅水动力学模拟，以计算雨水累积与动态效果；最终，通过一套感知反射的水体光栅化渲染管线，将模拟结果与原始场景无缝融合，生成最终的逼真雨景。

RainyGS的场景表示采用了3D高斯泼溅 (3DGS) 技术，该技术将三维场景解构为海量的各向异性3D高斯椭球体。每个高斯体由其中心位置 、 协方差矩阵 、 不透明度o以及表示视角相关颜色的球谐函数 (SH) 系数共同定义：

3DGS通过一个可微分的光栅化器，将这些3D高斯体高效地投影到二维图像平面，并根据深度对颜色进行alpha混合，从而实现高质量的实时渲染：

标准的3DGS方法在几何重建的精度上存在不足，无法满足物理模拟需求。因此，RainyGS采用PGSR这一改进方法，通过引入几何约束来联合优化场景的外观与几何，从而获得高精度三维场景重建结果。

进一步，RainyGS会从中提取一系列用于模拟和渲染的辅助图。首先是提取核心的高度图（Height Map）。该过程通过主成分分析（PCA）确定场景的地面，并将其对齐至XY平面。随后，一个正交顶视相机（orthographic camera）沿负 Z 轴方向渲染场景，生成一张深度图。最终，将相机距XY平面的距离减去该深度图的各像素值，便得到了代表地表起伏的高度图 。 为处理屋檐等物体的遮挡，模型会提取分别代表地面 （ ） 与遮挡物 （ ） 的两个高度层。这张高度图是后续水体动力学模拟的核心载体。此外，对于任意给定的目标视角V，模型会利用3DGS的alpha混合渲染管线，生成该视角下的逐像素深度图 D 和法线图 N ,作为动力学模拟的必要几何输入。

图1 RainyGS流程图

RainyGS的动态模拟与渲染分为物理模拟和光学渲染两个核心环节。基于在雨景中地面积水、涟漪等现象可以被很好地近似为高度场的观察，RainyGS引入了物理学中的浅水方程（Shallow Water Equations），直接在二维高度图上进行流体模拟。该方法在效率和稳定性上取得了很好的平衡，完美契合了雨水场景的物理特性：

在每个模拟时间步中，模型会随机生成新的雨滴，并根据其物理状态进行更新。当一个雨滴与场景发生碰撞时，模型会进行检测：若雨滴落入水面（即其高度低于当前水面高度场），其体积将被合并到高度场中，从而影响水位的变化；若雨滴撞击到屋檐等遮挡物，则直接消失：

为渲染出逼真的水面光学效果，RainyGS设计了一套包含两个通道（pass）的高效光栅化流程。第一个通道负责渲染水面本身，其最终颜色 由折射颜色 、 镜面反射颜色 和高光颜色 根据菲涅尔项F加权混合而成。第二个通道则负责渲染雨滴本身，空中的雨丝和撞击物体表面产生的水花，均被建模为高斯椭球体。最终，水面渲染结果 与雨滴渲染结果 会根据各自的深度信息进行融合，得到最终的完整图像：

其中镜面反射 ( ) 计算考虑到传统光线追踪的巨大开销，采用高效的屏幕空间反射（Screen-Space Reflection）技术，在已渲染的图像和深度图上进行光线步进，以近似计算反射颜色。高光 ( ) 项基于Blinn-Phong光照模型计算太阳等光源在起伏水面上形成的高光。折射颜色 ( ) 采用基于图像的近似方法，根据水面法线对原始场景图像进行扰动采样，以模拟光线穿过浅水层时的扭曲效果。菲涅尔项(F)利用Fresnel-Slick方程计算不同视角下水面的反射率，决定反射与折射的混合比例。

通过这种将物理模拟与高效渲染技术相结合的设计，RainyGS不仅在水体动态上实现了物理真实性，更在反射、折射等关键视觉效果上达到了高保真度，同时维持了卓越的实时渲染性能。

四、部分结果展示

作者首先对比了不同方法的雨景合角下不同时间步的雨景合成效果：

图2 雨景合成定性比较

图3 雨景合成多时间步定性比较

对比结果显示，虽然视频生成方法能创造出视觉上引人注目的雨景风格，但不可避免地缺乏三维一致性，并且常常会改变原始场景的几何形状。正如在图2中所见，Runway-V2V将花瓶变成了一个玻璃花瓶，并不断地改变背景。此外，其动态雨景在模拟和渲染方面都不够真实。如图3所示，Runway-V2V会生成随机的涟漪和雨滴，但当特定的雨滴落入水中时，却无法产生预期的涟漪效果。另外，涟漪的反射和折射效果也不符合物理规律，例如，倒映在水中的桌腿本应因水面涟漪而扭曲，但合成结果中却保持笔直。

由于缺乏适当的风格化和三维表示，Rain Motion工作在视觉真实感和动态准确性方面都表现不佳。Instruct-GS2GS缺乏高级的下雨效果，并且只支持静态编辑。相比之下，RainyGS保留了场景的几何形状，并提供了符合物理规律的降雨动态和逼真的渲染，从而确保了更一致、更高效和更高质量的结果。

在定量分析之外，本文还展示了多种基于RainyGS的应用，RainyGS可以应用于大规模的驾驶场景，以合成相应的雨天天气状况，这有助于为恶劣的雨天条件创建具有挑战性的驾驶环境，并提高自动驾驶的安全性。

图4 针对Waymo场景的雨天合成效果 五、总结与展望

本文介绍的RainyGS提出了一种新颖的动态雨景合成框架，在方法上将基于物理的浅水模拟与3D高斯泼溅技术深度融合。其核心机制在于，首先从多视图图像重建高精度三维场景，进而提取二维高度图作为物理模拟的载体，并在此基础上高效地计算雨水累积、涟漪等动态效果。相比于传统物理模拟方法在开放世界场景中的局限性，以及其他AI方法在物理真实性上的不足，RainyGS在保证物理精确性的同时，实现了超过30fps的实时渲染性能。

当前RainyGS的模拟与渲染仍存在一定局限。其浅水动力学模型难以精确模拟具有较深波浪或多层深度的复杂水体交互，同时，基于图像空间的渲染方式也使其无法处理被遮挡物体的反射与折射效果。未来工作将致力于解决这些挑战，例如探索更复杂的流体动力学模型，或融合能够处理遮挡的光线追踪技术，以实现更高阶的动态效果与渲染真实感。这将进一步提升其在自动驾驶恶劣天气模拟、沉浸式虚拟现实环境构建等应用中的价值。

六、思考与讨论

Q: RainyGS的浅水模拟对几何重建误差的鲁棒性如何？

A: 该方法难以基于不规则的地面和水坑模拟雨景，如果从有缺陷的重建中提取的高度图存在噪声，那么直接作用于其上的浅水模拟会产生物理上不正确的现象，例如水流在不存在的洼地中汇集。论文也提出了一个缓解策略，即通过增加降雨量，“地面的不规则之处可以被更多的水量覆盖”，从而实现逼真的下雨效果。这意味着，在暴雨场景下，大量的模拟积水可以在视觉上“淹没”并平滑掉底层的微小几何瑕疵。但在毛毛细雨或小雨场景下，这些由重建误差导致的模拟缺陷会更加明显。

Q: RainyGS浅水模拟的物理假设能否处理不同深度水体的动态过渡？

A: 当前RainyGS浅水模型确实无法平滑地处理这种过渡，对于具有较深波浪的流体交互不太准确，也不适用于模拟复杂的多深度水体效果。浅水方程的核心假设是流体的水平尺度远大于垂直尺度。当积水加深，这一假设便不再成立，模拟将无法捕捉到复杂的垂直水流运动，如破碎的波浪或物体淹没时产生的大幅溅射。该方法最适用于模拟典型的街道雨景，而非洪水或蓄水池等场景。

以下是开放性问题，欢迎读者朋友留言讨论：

Q: RainyGS成功地将“水”的物理模拟与3DGS结合，那么这套“重建-模拟-渲染”的框架能否被扩展为一种通用的、模块化的天气模拟系统？例如，是否可以替换掉浅水模拟模块，接入基于粒子或流体动力学的雪花、大雾或风场模拟器，从而在同一个3DGS场景中实现雨、雪、雾、风等多种天气效果的实时、可控合成？

参考文献

[1] Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuhler, and George Drettakis. 3D gaussian splatting for real-time radiance field rendering. ACM TOG & SIGGRAPH. 42(4), 139:1-139:14, 2023.

[2] Yuan Li, Zhi-Hao Lin, David Forsyth, Jia-Bin Huang, and Shenlong Wang. ClimateNeRF: Extreme weather synthesis in neural radiance field. ICCV. 3204-3215, 2023.

[3] Tianyi Xie, Zeshun Zong, Yuxing Qiu, Xuan Li, Yutao Feng,Yin Yang, and Chenfanfu Jiang. PhysGaussian: Physics-integrated 3D gaussians for generative dynamics. CVPR. 4389-4398, 2024.

[4] Danpeng Chen, Hai Li, Weicai Ye, Yifan Wang, Weijian Xie, Shangjin Zhai, Nan Wang, Haomin Liu, Hujun Bao, and Guofeng Zhang. PGSR: Planar-based gaussian splatting for efficient and high-fidelity surface reconstruction. TVCG. 6100-6111, 2024.

来源：公众号【深圳大学可视计算研究中心】

llustration From IconScout By IconScout Store

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

michellechang@thejiangmen.com

或添加工作人员微信（michelle333_）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈