CVPR 2026 | 在“本征空间”编辑天气，让自动驾驶世界随意切换晴雨雪

本文提出了IntrinsicWeather，一种基于扩散模型的本征空间天气编辑框架，通过将场景解耦为材质/几何（本征图）与光照/天气（辐照度图）实现细粒度可控的天气转换，并构建了两个大规模自动驾驶天气数据集，显著优于像素级编辑方法并提升下游感知任务性能。

论文标题： IntrinsicWeather: Controllable Weather Editing in Intrinsic Space 论文链接： https://arxiv.org/abs/2508.06982 项目主页： https://yixinzhu042.github.io/WeatherDiffusion/

在自动驾驶和机器人视觉系统中，天气一直是一个棘手的问题。

同一条街道，在晴天、雨天、雪天甚至沙尘暴条件下，视觉模型看到的画面可能完全不同。雨滴、雪花、雾气不仅遮挡物体，还会改变光照和材质的表现形式，使得目标检测和语义分割的性能显著下降。

近年来，扩散模型（Diffusion Models）在图像生成和编辑任务上取得了巨大进展。然而，大多数天气编辑方法仍然停留在像素空间（pixel space）进行修改：模型直接在原图上“画”出雨滴或雪花。

问题是：

• 物体的几何结构可能被改变

• 材质颜色可能被错误修改

• 光照和阴影往往不符合物理规律

这就像是在一张照片上贴滤镜，而不是在真实世界中改变天气。

来自南京大学、南开大学和 NVIDIA的研究团队提出了一个新的思路：

如果我们先理解场景的“物理本质”，再改变天气，会怎么样？

他们提出了IntrinsicWeather—— 一个在Intrinsic Space（本征空间）中进行天气编辑的扩散模型框架。

一、核心优势：解决像素空间编辑方法物理一致性低、光照合理性差的痛点

物理一致性：像素空间编辑方法需要模型隐式的学习耦合在一起的材质、几何与光照的关系，IntrinsicWeather 引入物理约束作为归纳偏好，通过逆渲染分离场景属性，模型显式学习在编辑天气的同时保持材质几何的一致。

光影真实性：得益于光照的分离，IntrinsicWeather 在材质几何信息的基础上以全新光照、天气下重渲染，避免输入图像中的光照和阴影对编辑结果产生影响，从而产生合理、真实的光照结果。

二、技术逻辑：先理解世界，再改变天气

IntrinsicWeather 的核心框架由两个模块组成：

1. Weather-aware Inverse Renderer

2. Weather-conditioned Forward Renderer

第一步：逆渲染（Inverse Rendering）

模型首先将输入图像分解为多个Intrinsic Maps：

• Albedo（物体本身颜色）

• Normal（几何结构）

• Roughness（粗糙度）

• Metallicity（金属属性）

• Irradiance（光照和天气影响）

其中：

• 前四种属于weather-invariant（不随天气变化）

• Irradiance 属于weather-variant

当场景被分解后，模型就可以根据新的天气条件重新生成图像：

甚至可以生成中间状态的天气。

论文利用CLIP embedding 插值实现连续天气控制：

改变的值，就能控制天气变化强度

随着降雨/降雪强度增加，天空积云逐渐增加，道路湿润程度/积雪逐渐增加，而不是简单叠加滤镜。 Intrinsic Map-Aware Attention：让模型关注正确区域

在自动驾驶场景中，物体尺度变化巨大：

• 远处的车辆很小

• 栏杆和路牌细节复杂

普通 diffusion 模型很容易忽略这些细节。

为了解决这个问题，作者提出了：Intrinsic Map-Aware Attention（IMAA）

IMAA 的核心思想是：

不同 intrinsic map 需要关注不同区域。

模型通过gating mechanism为不同 intrinsic map 生成 attention mask，使模型在分解时更加准确。

Normal map 需要关注几何边缘；Metallicity map 需要关注金属物体（车辆、栏杆等）

实验表明，IMAA 能显著提高几何结构和材质预测质量。

大规模天气数据集

为了训练模型，研究团队还构建了两个新的数据集：

WeatherSynthetic

使用Unreal Engine 5渲染生成：

• 38K 图像

• 多种天气条件

同时提供完整的 intrinsic maps。

WeatherReal

作者利用 inverse renderer 为开源户外数据集生成 intrinsic map 伪标签，并进行人工筛选。

这个数据集用于提升模型在真实世界中的泛化能力。

三、实验结果 天气编辑能力

在多项指标上，IntrinsicWeather 在多种指标和编辑强度上达到最佳平衡：

定性比较表明，相比于像素空间编辑SOTA方法，IntrisicWeather无论在物理一致性还是光影真实性上都显著更优。

逆渲染能力

定量与定性结果均大幅超过现有逆渲染SOTA方法，如DiffusionRenderer，在户外恶劣天气场景下，仍然能够估计出合理的材质与几何属性。

对自动驾驶任务的提升

IntrinsicWeather 不只是一个视觉编辑模型。

作者进一步测试了它对下游感知任务的影响。

在ACDC 数据集上：

目标检测：AP75: 13.15% → 24.60% 语义分割：mIoU: 24.13% → 30.05%

四、总结

IntrinsicWeather 提出了一个全新的天气编辑范式：

从像素空间 → intrinsic 空间。

核心贡献包括：

• 提出IntrinsicWeather 框架，实现可控天气编辑

• 设计Intrinsic Map-Aware Attention

• 构建WeatherSynthetic 与 WeatherReal 数据集

• 显著提升自动驾驶场景的视觉鲁棒性

更重要的是，这项工作展示了一个重要趋势：

未来的生成模型，不只是生成图像，而是理解世界的物理结构后再进行生成。

llustration generated by AI.

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈