网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2025 | NeRF全面升级!Google提出神经曝光场(NExF)让3D视图合成更贴近真实世界

0
分享至

作为3D领域的经典方法,神经辐射场(NeRF)技术已经在视角合成方面取得了突破性进展,但其对光照的“黑箱”式处理,使其难以适应真实世界中复杂的曝光变化,常导致图像局部过曝或欠曝。为解决这一问题,Google 团队在提出了一种全新的神经曝光场(Neural Exposure Fields, NExF)框架,目前已经发表在人工智能顶级会议NeurIPS 2025上。其核心创新在于,将“曝光”由传统的 2D 图像属性提升为 3D 空间中每个点的固有属性,并通过神经场建模,与场景几何和外观表示进行端到端联合优化。依托全新设计的latent 曝光条件化机制,NExF 能够从曝光不一致的多视角图像中自主学习每个 3D 点的最优曝光值,无需 HDR 输入或后处理,即可生成全局曝光一致、细节丰富的新视角图像。实验表明,NExF方法的训练效率相比普通NeRF提升超过三倍,在室内室外多场景、手机拍摄数据、自动驾驶与虚拟现实等真实应用场景中展现出更强的鲁棒性与实用性。


论文题目: Learning Neural Exposure Fields for View Synthesis 文章链接: https://arxiv.org/abs/2510.08279 仓库地址: https://m-niemeyer.github.io/nexf/index.html
一、研究背景

当前主流神经场方法(如ZipNeRF[1])在曝光稳定的常规数据集上已经能够取得非常优越的效果,但在真实场景中若忽略曝光差异,这类方法的合成质量会显著下降,如下图(a)所示。引入视角级 GLO 嵌入(generative latent optimization,隐空间优化技术)[2]能够在一定程度上改善效果,但仍不可避免地出现局部过曝或欠曝,如下图(b)所示。


基于上述问题,本文提出了一种全新的神经曝光场(NExF)概念,其能够在无需手动后处理或参考视图的情况下直接生成 3D 一致的高质量曝光均衡结果,如上图(c)所示。NExF的核心目标是:如何仅凭一组曝光不一致的常规 RGB 图像,重建出一个在整个三维空间中都能保持曝光一致、且具有高视觉质量的新视角合成模型

二、本文方法

本文提出的NExF方法整体框架如下图所示,针对曝光不一致的输入图像,NExF首先学习整个场景的理想曝光三维映射关系。在随后的渲染阶段,模型会基于上一阶段学习到的映射而非原始相机参数进行生成,从而能够在任意视角下输出曝光均衡、光照一致的高质量图像。


2.1 神经曝光场的定义

NExF的运行核心是将曝光建模为定义在三维空间中的连续函数:

该函数以三维点坐标 为输入,输出该点处所预测的最优曝光值 ,其中 表示神经网络的参数。本文采用多层全连接感知机(MLP)对曝光场进行参数化,使其具备与神经辐射场相一致的连续空间建模能力,从而确保所预测的曝光值在三维空间中平滑变化,来增强渲染结果的视觉一致性。

2.2 曝光条件化机制

NExF 引入了隐空间曝光条件化机制,其核心思想是将曝光控制从传统的颜色输出阶段,前移至网络内部的隐特征空间。具体实现由以下公式定义:


其中, 是位置编码分支输出的特征向量,假设其位于对数辐射度域,表征场景的固有亮度。 是输入射线对应图像曝光时间的自然对数。 是视角依赖分支,它以融合了曝光信息的潜在特征和视角方向 为输入,共同预测最终的体积密度 与颜色 。


上图展示了本文的的隐空间曝光条件化与先前的曝光条件形式对比。先前的研究通过将对数曝光添加到辐射度(上图a)来对颜色预测进行条件化。相比之下,本文方法也先执行对数变换,但条件是在潜在空间中进行的(上图b),从而提高了性能并实现了更稳定的优化

2.3 神经曝光场的优化目标

由于三维空间中的曝光值缺乏真实标签作为监督信号,本文设计了三个核心目标函数,通过间接监督的方式引导神经曝光场学习最优的曝光分布。

(1)曝光良好性:该目标用于鼓励模型预测远离裁剪边界(即不过曝或欠曝)的颜色。其权重计算如下:


(2)颜色饱和度:为避免输出颜色趋于灰暗,此目标用于提升预测色彩的饱和度与层次感,其定义为:


(3)三维平滑正则:基于“相邻空间点的理想曝光应连续变化”的假设,该正则项通过对曝光预测施加局部平滑性约束,有效防止在三维空间中出现不合理的曝光突变:


2.4 联合优化损失

结合上述三个目标,神经曝光场的总体损失函数可以形式化表示为:


其中, 为综合权重函数,由曝光良好性与颜色饱和度两项加权构成, 与 为对应的平衡超参数。 表示通过对射线 上所有样本点的预测曝光值进行体积渲染后,得到的像素级曝光预测。 为输入图像中对应射线的真实曝光值。 为渲染得到的正则化项,用于在图像空间实施三维平滑约束。

三、实验结果

本文的实验在HDRNeRF、Eyeful Tower v2、BilarF手机野外数据和ZipNeRF大规模场景等多个数据集上进行。测试的评价指标,除了采用常用的PSNR/SSIM/LPIPS标准指标外,还针对室内场景设计了基于HDR的曝光融合评估方案:即训练时对每个视角随机采样单一曝光,而在测试时通过多曝光融合生成参考图像以评估曝光重建质量。本文的对比baseline方法不仅涵盖了NeRF、ZipNeRF、3DGS等主流方法,并且在Eyeful Tower数据集上统一采用ZipNeRF主干网络进行了公平比较。

3.1 定量评估

下表展示了本文NExF方法与其他对比baseline方法的性能和效率对比情况,从表中可以看出,NExF在ID和OOD曝光设置下的PSNR分数分别达到了42.54和38.36,全面优于所有基线模型,尤其较仅使用RGB曝光输入的HDRNeRF提升超过了3.5 PSNR


同时在训练和运行效率方面,NExF训练仅需11分钟,比之前最快的方法(HDR-GS)提速3倍以上,在保持高效重建质量的同时实现了高效训练,展现出其在实际复杂曝光场景下的强大适用性。

3.2 定性评估

下图展示了NExF与其他baseline在视觉生成效果上的对比。在复杂光照场景中,基线方法普遍存在明显的局部过曝或欠曝问题,而NEXF通过其神经曝光场实现了全局均衡的曝光控制,同时在远距离区域保留了更多建筑细节和表面纹理,未出现其他方法中常见的浮点伪影或细节模糊现象。此外,NExF在色彩还原方面表现出色,实现了更自然的色彩过渡和更高的饱和度,使得合成结果在视觉上更接近真实场景观察效果。


此外,在复杂光照情况下,NExF仍然表现出了明显的优势,对比结果如下图所示。相比忽略曝光的方法(下图a)完全失效、以及GLO方法(下图b)仍存在局部过曝、欠曝的问题,NExF实现了全场景的曝光协调,同时保持了建筑立面等细节的清晰度。值得注意的是,其合成效果甚至优于单曝光采集的真实测试视图(下图d),证明了该方法通过多曝光学习能够生成超越单次曝光质量的图像。


对于更复杂的情况,例如高动态光照范围条件下,NExF能够自适应地为不同亮度区域分配合适曝光值(室内高曝光、室外低曝光)。对比结果如下图所示,由于未进行复杂的多重曝光捕捉,输入训练和测试视图可能会出现过度曝光或曝光不足(如下图a),但由于NExF可以对 3D 神经曝光场进行预测(下图c),因而最终能够为整个场景实现曝光良好的色彩(下图b)。


四、总结

本文提出了一种称为神经曝光场(NExF)的框架,旨在增强三维场景重建和新颖视图合成的效果。本文首次提出神经曝光场的概念,将曝光过程从2D像素级扩展到了3D点级,为解决3D一致性曝光问题提供了新范式。此外,NExF设计了一种latent曝光条件化机制,实现曝光场与辐射场的高效联合优化,提升了模型的稳定性和预测精度。在训练和实际推理方面,NExF在训练速度上优于之前的工作,在真实场景(如手机拍摄、大型房屋场景)中实现了 SOTA 性能。总体而言,NExF解决了三维场景重建中曝光变化的挑战,使得从不同输入图像中获得准确且视觉上真实的输出成为可能。

参考

[1] Jonathan T. Barron, Ben Mildenhall, Dor Verbin, Pratul P. Srinivasan, and Peter Hedman. Zip-NeRF:Anti-Aliased Grid-Based Neural Radiance Fields. Int. Conf. Comput. Vis., 2023.

[2] Piotr Bojanowski, Armand Joulin, David Lopez-Paz, and Arthur Szlam. Optimizing the Latent Space of Generative Networks. ICML, 2018.

llustration From IconScout By IconScout Store

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

michellechang@thejiangmen.com

或添加工作人员微信(michelle333_)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
4名赴泰失联近20天的中国男子被找到,原来都被骗至妙瓦底!

4名赴泰失联近20天的中国男子被找到,原来都被骗至妙瓦底!

听心堂
2026-05-23 20:47:44
新娘46分钟换装宾客散场后续,宾客发声:等30分钟也不见新娘敬酒

新娘46分钟换装宾客散场后续,宾客发声:等30分钟也不见新娘敬酒

削桐作琴
2026-05-20 00:14:40
中组部单独开会!2026体制内大调整,四大信号已明确

中组部单独开会!2026体制内大调整,四大信号已明确

朗威谈星座
2026-05-22 20:43:36
人民日报怒批“碳水脸、蛋白质脸”争议,言辞犀利,直击问题本质

人民日报怒批“碳水脸、蛋白质脸”争议,言辞犀利,直击问题本质

以茶带书
2026-05-23 20:16:51
山西告急!湖南告急!天灾人祸双重拷问,我们不能再无动于衷

山西告急!湖南告急!天灾人祸双重拷问,我们不能再无动于衷

融通天下
2026-05-24 11:12:10
马英九基金会调查结果出炉,萧旭岑感谢:还我清白,还人间公道

马英九基金会调查结果出炉,萧旭岑感谢:还我清白,还人间公道

海峡导报社
2026-05-24 13:12:03
两性关系:40岁后,女人不怕你动手动脚,就怕你动这几样!

两性关系:40岁后,女人不怕你动手动脚,就怕你动这几样!

周哥一影视
2026-05-24 14:08:30
外媒热议U17亚洲杯中国亚军 日媒:成功照搬日本 越媒:复兴基础

外媒热议U17亚洲杯中国亚军 日媒:成功照搬日本 越媒:复兴基础

郝小小看体育
2026-05-23 10:21:39
这要怎么赢?米切尔正负值-22全场最低 哈登被针对成尼克斯提款机

这要怎么赢?米切尔正负值-22全场最低 哈登被针对成尼克斯提款机

听我说球
2026-05-24 11:13:00
不堪入目!把女性私处P到狗身上打广告?这操作,比狗还狗!

不堪入目!把女性私处P到狗身上打广告?这操作,比狗还狗!

川渝视觉
2026-05-23 17:58:47
1万雇佣兵被击倒,俄军杀疯了!外国新兵哭诉:18人参战就剩他了

1万雇佣兵被击倒,俄军杀疯了!外国新兵哭诉:18人参战就剩他了

流史岁月
2026-05-23 13:33:53
家里这个“最脏电器”,正悄悄把人送进ICU,你可能天天都在用

家里这个“最脏电器”,正悄悄把人送进ICU,你可能天天都在用

奇妙的本草
2026-05-21 11:57:45
OPPO的放贷版图,正在迎来一场震动!

OPPO的放贷版图,正在迎来一场震动!

包不同
2026-05-22 22:59:31
47.6℃炼狱高温!印度紧急关停红绿灯:规则让步生命,保命要紧!

47.6℃炼狱高温!印度紧急关停红绿灯:规则让步生命,保命要紧!

行者聊官
2026-05-24 14:41:07
日本航空杂志奇文:歼-15只有22架,歼-20只有19架!

日本航空杂志奇文:歼-15只有22架,歼-20只有19架!

阿龙聊军事
2026-05-23 20:30:58
医疗反腐若真严查到底,会带来啥影响?4大变化或将接连出现

医疗反腐若真严查到底,会带来啥影响?4大变化或将接连出现

细说职场
2026-05-24 15:51:53
去越南旅游的华人感慨:不要信媒体吹牛,越南相当于我国三线城市

去越南旅游的华人感慨:不要信媒体吹牛,越南相当于我国三线城市

贱议你读史
2026-05-24 06:35:03
周恩来在劳山遇刺,11名警卫全部牺牲,调查后才知凶手竟大有来历

周恩来在劳山遇刺,11名警卫全部牺牲,调查后才知凶手竟大有来历

小哥很OK
2025-11-17 21:02:50
柬媒爆料:中国15家企业承诺,送50万人去柬!1000多条评论很一致

柬媒爆料:中国15家企业承诺,送50万人去柬!1000多条评论很一致

消失的电波
2026-05-22 21:31:30
周鹏谈退役:有合同让我每天坐板凳也不开心 若有球队需要我帮助可能延续

周鹏谈退役:有合同让我每天坐板凳也不开心 若有球队需要我帮助可能延续

隐于山海
2026-05-24 12:25:53
2026-05-24 16:51:00
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2385文章数 596关注度
往期回顾 全部

科技要闻

我戴着摄像头上班,正在帮AI抢走我饭碗

头条要闻

夫妻婚后未同房 妻子:刚结婚时没成功 第二次他很懊恼

头条要闻

夫妻婚后未同房 妻子:刚结婚时没成功 第二次他很懊恼

体育要闻

唐斯发牌,大头逆袭:骑士跌向残忍夏季

娱乐要闻

李晨郑恺冲上热搜!跑男停宣引热议

财经要闻

爆炸致82人遇难 留神峪煤业存违法行为

汽车要闻

2027款星途瑶光上市 把"全球车"标准卷进13万级市场

态度原创

房产
本地
教育
公开课
军事航空

房产要闻

疯狂周末,海口楼市突然爆了!

本地新闻

用云锦的方式,打开江苏南京

教育要闻

团团速递|“天宫”迎来首位香港航天员

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

深夜美伊谈判传来大消息 特朗普最新表态

无障碍浏览 进入关怀版