网易首页 > 网易号 > 正文 申请入驻

神还原物体复杂、高频细节,4K-NeRF高保真视图合成来了

0
分享至

机器之心报道

机器之心编辑部

与现代 NeRF 方法的定量和定性比较表明,本文方法可以显着提高渲染质量以保留高频细节,在 4K 超高分辨率场景下实现最先进的视觉质量。

超高分辨率作为记录和显示高质量图像、视频的一种标准受到众多研究者的欢迎,与较低分辨率(1K 高清格式)相比,高分辨率捕获的场景通常细节十分清晰,像素的信息被一个个小 patch 放大。但是,想要将这种技术应用于图像处理和计算机视觉还面临很多挑战。

本文中,来自阿里巴巴的研究者专注于新的视图合成任务,提出了一个名为 4K-NeRF 的框架,其基于 NeRF 的体积渲染方法可以实现在 4K 超高分辨率下高保真视图合成。

论文地址:
https://arxiv.org/abs/2212.04701

项目主页:
https://github.com/frozoul/4K-NeRF

方法

接下来我们来看看该研究是如何实现的。

4K-NeRF pipeline(如下图):使用基于 patch 的射线采样技术,联合训练 VC-Encoder(View-Consistent)(基于 DEVO)在一个较低分辨率的空间中编码三维几何信息,之后经过一个 VC-Decoder 实现针对高频细高质量的渲染与视图一致性的增强。

该研究基于 DVGO [32] 中定义的公式实例化编码器,学习到的基于体素网格的表示来显式地编码几何结构:

对于每个采样点,密度估计的三线性插值配备了一个 softplus 激活函数用于生成该点的体密度值:

颜色则是用一个小型的 MLP 估计算:

这样可以通过累积沿着设线 r 的采样点的特征来得到每个射线(或像素)的特征值:

为了更好地利用嵌入在 VC-Encoder 中的几何属性,该研究还通过估计每条射线 r 沿采样射线轴的深度生成了一个深度图。估计的深度图为上面 Encoder 生成的场景三维结构提供了强有力的指导:

之后经过的网络是通过叠加几个卷积块(既不使用非参数归一化,也不使用降采样操作)和交错的升采样操作来建立的。特别是,该研究不是简单地将特征 F 和深度图 M 连接起来,而是加入了深度图中的深度信号,并通过学习变换将其注入每个块来调制块激活。

不同于传统的 NeRF 方法中的像素级机制,该研究的方法旨在捕获射线(像素)之间的空间信息。因此,这里不适合采用 NeRF 中随机射线采样的策略。因此该研究提出了一种基于 patch 的射线采样训练策略,以方便捕获射线特征之间的空间依赖性。训练中,首先将训练视图的图像分割成大小为 N_p×N_p 的 patch p,以确保像素上的采样概率是均匀的。当图像空间维数不能被 patch 大小精确分割时,需要截断 patch 直到边缘,得到一组训练 patch。然后从集合中随机抽取一个 (或多个) patch,通过 patch 中像素的射线形成每次迭代的 mini-batch。

为了解决对精细细节产生模糊或过度平滑视觉效果的问题,该研究添加了对抗性损失和感知损失来规范精细细节合成。感知损失通过预先训练的 19 层 VGG 网络来估计特征空间中预测的 patch和真值 p 之间的相似性:

该研究使用损失而不是 MSE 来监督高频细节的重建

此外,该研究还添加了一个辅助 MSE 损失,最后总的 loss 函数形式如下:

实验效果

定性分析

实验对 4K-NeRF 与其他模型进行了比较,可以看到基于普通 NeRF 的方法有着不同程度的细节丢失、模糊现象。相比之下,4K-NeRF 在这些复杂和高频细节上呈现了高质量的逼真渲染,即使是在训练视野有限的场景上。

定量分析

该研究与目前几个方法在 4k 数据的基准下去做对比,包括 Plenoxels、DVGO、JaxNeRF、MipNeRF-360 和 NeRF-SR。实验不但以图像恢复的评价指标作为对比,还提供了推理时间和缓存内存,以供全面评估参考。结果如下:

虽然与一些方法的结果在一些指标上相差不大,但是得益于他们基于体素的方法在推理效率和内存成本上都取得了惊人的性能,允许在 300 ms 内渲染一个 4K 图像。

总结及未来展望

该研究探讨了 NeRF 在精细细节建模方面的能力,提出了一个新颖的框架来增强其在以极高分辨率的场景中恢复视图一致的细微细节的表现力。此外,该研究还引入了一对保持几何一致性的编解码器模块,在较低的空间中有效地建模几何性质,并利用几何感知特征之间的局部相关性实现全尺度空间中的视图一致性的增强,并且基于 patch 的抽样训练框架也允许该方法集成来自面向感知的正则化的监督。该研究希望将框架合并到动态场景建模中的效果,以及神经渲染任务作为未来的方向。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
河北石家庄衡水等多地今有大到暴雪 明后天降雪减弱

河北石家庄衡水等多地今有大到暴雪 明后天降雪减弱

北青网-北京青年报
2024-02-20 16:26:02
为了安抚青春期躁动的儿子,陪读妈妈的我做了一个荒唐的决定

为了安抚青春期躁动的儿子,陪读妈妈的我做了一个荒唐的决定

百川先生
2024-02-15 00:08:00
朝鲜战争70周年庆典,中俄被安排在次席落座,坐第一排的很意外

朝鲜战争70周年庆典,中俄被安排在次席落座,坐第一排的很意外

环球Talk
2024-02-19 14:21:48
网传 魏大勋秦岚三亚过年,网友:磕到了,魏大勋秦岚又幸福了

网传 魏大勋秦岚三亚过年,网友:磕到了,魏大勋秦岚又幸福了

娱乐圈酸柠檬
2024-02-20 14:44:55
中国女游客泰国搭摩托车前往景区险遭司机强暴 警方介入调查

中国女游客泰国搭摩托车前往景区险遭司机强暴 警方介入调查

红星新闻
2024-02-20 19:13:33
1-0!哈兰德成英超第一人,曼城超越阿森纳,利物浦瑟瑟发抖

1-0!哈兰德成英超第一人,曼城超越阿森纳,利物浦瑟瑟发抖

我的护球最独特
2024-02-21 05:27:16
揭秘业界十位岛国知名步兵女神:个个都奥利给?带你一探究竟!

揭秘业界十位岛国知名步兵女神:个个都奥利给?带你一探究竟!

零点娱评
2023-12-14 00:47:37
董宇辉坦言:与辉同行团队内部意见严重分歧,同事决裂,太烦人!

董宇辉坦言:与辉同行团队内部意见严重分歧,同事决裂,太烦人!

柠檬有娱乐
2024-02-20 14:37:52
暴雪预警升级!雷打暴雪暴雨袭击多省,暴雪冻雨范围还将扩大

暴雪预警升级!雷打暴雪暴雨袭击多省,暴雪冻雨范围还将扩大

中国气象爱好者
2024-02-20 23:19:24
为啥有人专门收购老旧小区顶楼?知情人:背后商机你可能不知道

为啥有人专门收购老旧小区顶楼?知情人:背后商机你可能不知道

张家九小姐
2024-02-08 11:17:52
梅西澄清视频为AI合成?网友提9点质疑:面部僵硬,全程未露牙齿

梅西澄清视频为AI合成?网友提9点质疑:面部僵硬,全程未露牙齿

我爱英超
2024-02-20 14:45:17
现在和未来我都要!当4年后姆巴佩30岁时,恩德里克才22岁

现在和未来我都要!当4年后姆巴佩30岁时,恩德里克才22岁

直播吧
2024-02-20 22:34:09
散打冠军王鹏被执行死刑,细节曝光,行刑前浑身颤抖流泪不止

散打冠军王鹏被执行死刑,细节曝光,行刑前浑身颤抖流泪不止

纪实录
2024-02-14 15:40:03
“济南灭门案”咎由自取,怨不得旁人

“济南灭门案”咎由自取,怨不得旁人

脑洞碎碎念
2024-01-26 07:15:15
大范围雨雪天气展开,河南多地已拉响暴雪红色预警

大范围雨雪天气展开,河南多地已拉响暴雪红色预警

澎湃新闻
2024-02-20 21:12:28
位于上海黄金地段却落寞多年?市民直呼:很可惜...消息传来:城市航站楼即将华丽转身→

位于上海黄金地段却落寞多年?市民直呼:很可惜...消息传来:城市航站楼即将华丽转身→

上观新闻
2024-02-20 12:16:54
曲京鹏已任济南市委副秘书长

曲京鹏已任济南市委副秘书长

鲁中晨报
2024-02-20 20:05:14
孔蒂接班拜仁救火!

孔蒂接班拜仁救火!

浮萍足球
2024-02-21 01:19:34
卖车直播太混乱了!女主播都穿“鲨鱼裤”,评论区全喊“钵钵鸡”

卖车直播太混乱了!女主播都穿“鲨鱼裤”,评论区全喊“钵钵鸡”

衷情苦
2024-02-16 15:40:05
瓜迪奥拉:今晚是超越阿森纳升至第二的机会,要更接近利物浦

瓜迪奥拉:今晚是超越阿森纳升至第二的机会,要更接近利物浦

懂球帝
2024-02-21 03:23:12
2024-02-21 07:08:49
机器之心Pro
机器之心Pro
专业的人工智能媒体
8712文章数 141812关注度
往期回顾 全部

科技要闻

中国的“电动保时捷”,咋就造不下去了?

头条要闻

60秒狂卖沪深股票25.67亿 “量化巨头”灵均投资致歉

头条要闻

60秒狂卖沪深股票25.67亿 “量化巨头”灵均投资致歉

体育要闻

1-0!哈兰德单刀制胜,曼城英超10轮不败,反超阿森纳+距榜首1分

娱乐要闻

刘雯井柏然泰国约会,李荣浩也在!

财经要闻

猝不及防的王炸,左一个右一个

汽车要闻

卷起来!五菱星光150km进阶版降至9.98万

态度原创

健康
游戏
家居
公开课
军事航空

改善心脏健康的10个秘诀

魔兽世界代练跑路,包赔成笑话,网易与巨人将对簿公堂?

家居要闻

向美而行,体悟与空间的共鸣

公开课

养生中医告诉你,冬季如何正确食补!

军事要闻

代号"雪豹" 乌军新司令瑟尔斯基有点神秘

无障碍浏览 进入关怀版