北大大牛团队最新顶会，首次让AI能够生成真实火焰

新智元报道

编辑：艾伦

【新智元导读】北京大学陈宝权教授团队提出 FieryGS，被 AI 顶会 ICLR 2026 接收。该框架将多模态大模型、燃烧物理仿真与 3D 高斯溅射深度融合，首次在真实 3D 重建场景中实现了物理可信、语义感知且可控的火焰合成，推动数字孪生从「静态重建」迈向「动态物理」。

在通往「空间智能」与「世界模型」的征途上，如何让计算机不仅能以高保真度「重建」静态的三维孪生世界，更能深刻「理解」并精准「预测」其中的物理动态，一直是计算机图形学与人工智能领域的重要研究挑战。

近日，北京大学智能学院陈宝权教授团队的最新研究成果 FieryGS: In-the-Wild Fire Synthesis with Physics-Integrated Gaussian Splatting 被人工智能顶会 ICLR 2026 接收。

这项工作并非视觉层面的简单合成，而是另辟蹊径，构建了一套将多模态大模型（MLLM）的语义理解能力、燃烧动力学物理仿真与 3D 高斯溅射（3DGS）渲染技术深度耦合的框架，首次在真实世界的 3D 重建场景中，实现了物理可信、语义感知且高度可控的燃烧合成。

https://openreview.net/forum?id=ziKFH7whvy

01. 挑战：当「静态重建」遇上「动态物理」

随着 3D Gaussian Splatting（3DGS）技术的发展，我们已经能够以惊人的速度和照片级的保真度将现实世界数字化。

然而，现有的 3DGS 重建场景本质上是「冻结」的数字孪生——它们拥有精细的几何与纹理，却严重缺失像物理世界那样交互和演化的能力。

当我们试图在这些场景中模拟「起火」这样复杂的物理现象时，往往面临着不可调和的技术矛盾。

一方面，传统的图形学流程（如基于 CFD 的流体动力学与 VFX 特效软件）虽然遵循严谨的物理定律，但其应用门槛极高。

它们通常要求艺术家对场景进行繁琐的手工网格重建、UV 展开及材质属性标注。

面对大规模、非结构化的、不完整的真实世界扫描数据，这种「手动工坊」式的工作流显然难以扩展。

另一方面，以 Sora、Runway 为代表的视频生成模型虽然能凭空创造出视觉效果炫酷的火焰视频，但其本质仍是基于像素概率的预测，而非对物理过程的模拟。

这些模型往往缺乏对三维几何结构和物理守恒规律的本质理解，极易产生「物理幻觉」：例如，火焰在不可燃的金属表面凭空燃烧，或者在生成过程中扭曲了原本的场景结构。

02. FieryGS：语义感知与物理驱动的新范式

FieryGS 的研究正是为了打破这一僵局。

针对上述挑战，FieryGS 提出了一种「语义感知-物理驱动」的全新思路：与其让 AI 去「猜测」像素的运动，不如让 AI 去「理解」物理属性，进而利用准确的物理方程来驱动生成过程。

FieryGS 是一套物理集成的 3DGS 框架，其核心在于搭建了一座桥梁，连接了大模型的常识推理能力与传统图形学的物理仿真能力。

系统首先利用多模态大模型（MLLM）作为「物理常识大脑」，对 3DGS 场景进行材质物理属性推断；

随后结合基于欧拉网格的流体力学求解器，驱动火焰与烟雾的演化；

最后通过统一的体积渲染器，输出光影逼真、物理自洽且交互可控的燃烧效果。

其完整技术管线如下图所示：

MLLM 驱动的零样本物理属性推理

要实现符合常识的燃烧，计算机必须具备类似人类的认知能力：「这是什么物体？」「它由什么材质构成？」「它的燃烧特性如何？」。

在 FieryGS 中，静态的 3DGS 场景不再是无意义的点云集合，而是被赋予了丰富的物理语义。

本工作设计了一套基于 GPT-4o 的零样本材质推理机制。

系统首先利用 3D 分割技术将场景中的高斯基元解耦为独立的物体实例，随后通过最佳视角选择算法，将物体在该视角下的渲染图输入给大模型。

通过精心设计的视觉与文本提示词，大模型化身为「物理专家」，能够精准推断出场景中物体的材质语义及其对应的热物理参数：

精准区分桌上的乐高积木是易燃的塑料，而马克杯中的勺子是耐火的金属；

根据材质类别，推理出相应的可燃性（Burnability）、热扩散系数（Thermal Diffusivity）以及燃烧产生的烟雾颜色（如木材产生白烟，塑料产生黑烟）。

这种基于语义的物理属性初始化，告别了传统方法中昂贵耗时的人工标注，实现了自动化的场景物理感知，其标注准确性在多个真实复杂场景中得到验证（详见论文），为后续的仿真打下坚实基础。

高效体积燃烧仿真

在获取了精确的材质属性后，FieryGS 引入了一个高效的欧拉网格流体求解器，将燃烧过程建模为严谨的流体动力学与热力学方程。

不同于视频生成模型的像素预测，FieryGS 中火焰的升腾、烟雾的扩散，都以纳维-斯托克斯方程（Navier-Stokes Equations）等物理学规律为基础，受到浮力、风力、涡流以及障碍物边界条件的共同作用。

FieryGS 还引入了精细的炭化（Charring）模型。

燃烧不仅仅是覆盖一层火焰特效，而是伴随着物质状态的改变，温度的扩散的复杂有机整体。

FieryGS 模拟了热量在物体内部的传导过程，当温度超过燃点，系统会计算炭化程度并实时更新高斯点的外观属性，使其表面逐渐变黑。

这种从微观热力学出发的建模，使得燃烧的视觉效果不再是简单的图层叠加，而是由温度场驱动的真实材质演变，不仅呈现出令人信服的物理细节，更可服务于灾害预测等重要实际需求。

统一体积燃烧渲染

如何将网格化的燃烧仿真数据与离散化的3D高斯点云融合，是渲染层面的巨大挑战。

本工作为此提出了一套统一的体积渲染器（Unified Volumetric Renderer）。

这一渲染器打破了传统渲染管线的边界，实现了多物理场的光影耦合：

基于黑体辐射定律，根据仿真得到的温度场计算火焰的物理自发光颜色；

根据材质推理结果渲染不同颜色的烟雾；

通过引入 Phong 光照模型，使火焰不再是孤立的发光体，而是成为了场景中真实的光源。

当火焰在木凳上燃起时，观察者不仅能看到火光本身，还能看到火光在地面上投下的摇曳倒影，以及周围物体因被照亮而产生的明暗变化。

这种光影解耦与再渲染，极大地提升了合成画面的沉浸感。

03. 实验结果：逼真视效，精准可控

得益于生成式 AI 与图形学物理防战的融合，FieryGS 在多个真实世界场景（如室内房间、公园、花园等）的测试中，展现出了超越现有基线方法的卓越性能。

与视频生成模型相比，FieryGS 不仅严格保持了背景几何结构的稳定性，更展现了从点火、蔓延到熄灭的完整物理过程，兼具物理真实与视觉美观。

此外，可控性是 FieryGS 的另一大核心优势。

不同于「抽卡式」的视频生成，FieryGS 允许用户以参数化的方式精确控制仿真过程。

用户可以灵活地指定起火点，调整风向风力以改变火焰蔓延方向，改变燃烧强度以及燃料的物理性质等等，而系统总能生成符合物理逻辑的动态反馈。

04. 从雨到火，迈向可计算的动态孪生

FieryGS 并非一次孤立的技术尝试。

在此之前，北京大学陈宝权教授团队已在 CVPR 2025 提出 RainyGS，率先探索了在真实世界 3D 重建场景中，引入物理一致、参数可控的降雨积水等动态的能力。

RainyGS 以高斯表面表达为核心，将降雨、积水、涟漪等复杂流体现象直接绑定于高斯的几何描述之上，实现了从「静态重建」到「动态物理」的关键跨越，是 Real2Sim2Real 路径上的重要一步（项目主页：https://pku-vcl-geometry.github.io/RainyGS/）。

在 RainyGS 中，团队验证了一种具有普适性的范式：以紧致、统一的 3DGS 表达作为桥梁，避免在仿真与渲染之间反复切换数据结构，从而同时保证物理真实性、几何一致性与高效性。这一思路为真实场景中的动态孪生奠定了坚实基础。

FieryGS 正是在这一体系上的自然演进与系统扩展。

如果说 RainyGS 解决的是「真实场景中如何添加流体动态」，那么 FieryGS 则进一步引入了真实场景的语义理解，以及与真实场景深度耦合的相互物理作用，从而实现复杂的燃烧，这一具有物理因果链条的高阶动态现象。

通过融合多模态大模型的常识推理能力与严谨的燃烧仿真，FieryGS 让数字孪生世界首次具备了理解材质、推断属性、并据此演化物理过程的能力。

从雨水的下落、汇聚与反射，到火焰的点燃、蔓延与熄灭，这一系列工作所共同指向的，并非单一视觉效果的提升，而是一条清晰的技术主线：让数字孪生世界不再只是「看起来真实」，而是真正遵循物理、可预测、可干预、可用于智能决策。

随着这一以 3DGS 为核心、融合物理建模与语义推理的动态孪生体系不断演进，其应用边界将持续拓展至自动驾驶仿真、具身智能训练、灾害推演以及复杂空间智能系统之中。

RainyGS 与 FieryGS 的连续提出，正在逐步勾勒出一个更具「物理灵魂」的世界模型雏形。

参考资料：

https://openreview.net/forum?id=ziKFH7whvy