网易首页 > 网易号 > 正文 申请入驻

CVPR 2024|仅需文本或图像提示,新框架CustomNeRF精准编辑3D场景

0
分享至

机器之心专栏

机器之心编辑部

美图影像研究院(MT Lab)与中国科学院信息工程研究所、北京航空航天大学、中山大学共同提出了 3D 场景编辑方法 ——CustomNeRF,同时支持文本描述和参考图像作为 3D 场景的编辑提示,该研究成果已被 CVPR 2024 接收。

自 2020 年神经辐射场 (Neural Radiance Field, NeRF) 提出以来,将隐式表达推上了一个新的高度。作为当前最前沿的技术之一,NeRF 快速泛化应用在计算机视觉、计算机图形学、增强现实、虚拟现实等领域,并持续受到广泛关注。

有赖于易于优化和连续表示的特点,NeRF 在 3D 场景重建中有着大量应用,也带动了 3D 场景编辑领域的研究,如 3D 对象或场景的纹理重绘、风格化等。为了进一步提高 3D 场景编辑的灵活性,近期基于预训练扩散模型进行 3D 场景编辑的方法也正在被大量探索,但由于 NeRF 的隐式表征以及 3D 场景的几何特性,获得符合文本提示的编辑结果并非易事。

为了让文本驱动的 3D 场景编辑也能够实现精准控制,美图影像研究院(MT Lab)与中国科学院信息工程研究所、北京航空航天大学、中山大学,共同提出了一种将文本描述和参考图像统一为编辑提示的 CustomNeRF 框架,可以通过微调预训练的扩散模型将参考图像中包含的特定视觉主体 V∗嵌入到混合提示中,从而满足一般化和定制化的 3D 场景编辑要求。该研究成果目前已被 CVPR 2024 收录,代码已开源。



  • 论文链接:https://arxiv.org/abs/2312.01663
  • 代码链接:https://github.com/hrz2000/CustomNeRF



图 1:CustomNeRF 在文本驱动(左)和图像驱动(右)的编辑效果

CustomNeRF 解决的两大挑战

目前,基于预训练扩散模型进行 3D 场景编辑的主流方法主要分为两类。

其一,是使用图像编辑模型迭代地更新数据集中的图像,但是受限于图像编辑模型的能力,会在部分编辑情形下失效。其二,则是利用分数蒸馏采样(SDS)损失对场景进行编辑,但由于文本和场景之间的对齐问题,这类方法在真实场景中无法直接适配,会对非编辑区域造成不必要的修改,往往需要 mesh 或 voxel 等显式中间表达。

此外,当前的这两类方法主要集中在由文本驱动的 3D 场景编辑任务中,文本描述往往难以准确表达用户的编辑需求,无法将图像中的具体概念定制化到 3D 场景中,只能对原始 3D 场景进行一般化编辑,因此难以获得用户预期中的编辑结果。

事实上,获得预期编辑结果的关键在于精确识别图像前景区域,这样能够在保持图像背景的同时促进几何一致的图像前景编辑。

因此,为了实现仅对图像前景区域进行准确编辑,该论文提出了一种局部 - 全局迭代编辑(LGIE)的训练方案,在图像前景区域编辑和全图像编辑之间交替进行。该方案能够准确定位图像前景区域,并在保留图像背景的同时仅对图像前景进行操作。

此外,在由图像驱动的 3D 场景编辑中,存在因微调的扩散模型过拟合到参考图像视角,所造成的编辑结果几何不一致问题。对此,该论文设计了一种类引导的正则化,在局部编辑阶段仅使用类词来表示参考图像的主体,并利用预训练扩散模型中的一般类先验来促进几何一致的编辑。

CustomNeRF 的整体流程

如图 2 所示,CustomNeRF 通过 3 个步骤,来实现在文本提示或参考图像的指导下精确编辑重建 3D 场景这一目标。



图 2 CustomNeRF 的整体流程图

首先,在重建原始的 3D 场景时,CustomNeRF 引入了额外的 mask field 来估计除常规颜色和密度之外的编辑概率。如图 2(a) 所示,对于一组需要重建 3D 场景的图像,该论文先使用 Grouded SAM 从自然语言描述中提取图像编辑区域的掩码,结合原始图像集训练 foreground-aware NeRF。在 NeRF 重建后,编辑概率用于区分要编辑的图像区域(即图像前景区域)和不相关的图像区域(即图像背景区域),以便于在图像编辑训练过程中进行解耦合的渲染。

其次,为了统一图像驱动和文本驱动的 3D 场景编辑任务,如图 2(b)所示,该论文采用了 Custom Diffusion 的方法在图像驱动条件下针对参考图进行微调,以学习特定主体的关键特征。经过训练后,特殊词 V∗可以作为常规的单词标记用于表达参考图像中的主体概念,从而形成一个混合提示,例如 “a photo of a V∗ dog”。通过这种方式,CustomNeRF 能够对自适应类型的数据(包括图像或文本)进行一致且有效的编辑。

在最终的编辑阶段,由于 NeRF 的隐式表达,如果使用 SDS 损失对整个 3D 区域进行优化会导致背景区域发生显著变化,而这些区域在编辑后理应与原始场景保持一致。如图 2(c)所示,该论文提出了局部 - 全局迭代编辑(LGIE)方案进行解耦合的 SDS 训练,使其能够在编辑布局区域的同时保留背景内容。

具体而言,该论文将 NeRF 的编辑训练过程进行了更精细的划分。借助 foreground-aware NeRF,CustomNeRF 可以在训练中灵活地控制 NeRF 的渲染过程,即在固定相机视角下,可以选择渲染前景、背景、以及包含前景和背景的常规图像。在训练过程中,通过迭代渲染前景和背景,并结合相应的前景或背景提示,可以利用 SDS 损失在不同层面编辑当前的 NeRF 场景。其中,局部的前景训练使得在编辑过程中能够只关注需编辑的区域,简化复杂场景中编辑任务的难度;而全局的训练将整个场景考虑在内,能够保持前景和背景的协调性。为了进一步保持非编辑区域不发生改变,该论文还利用编辑训练前的背景监督训练过程中所新渲染的背景,来保持背景像素的一致性。

此外,图像驱动 3D 场景编辑中存在着加剧的几何不一致问题。因为经过参考图像微调过的扩散模型,在推理过程中倾向于产生和参考图像视角相近的图像,造成编辑后 3D 场景的多个视角均是前视图的几何问题。为此,该论文设计了一种类引导的正则化策略,在全局提示中使用特殊描述符 V*,在局部提示中仅使用类词,以利用预训练扩散模型中包含的类先验,使用更几何一致的方式将新概念注入场景中。

实验结果

如图 3 和图 4 展示了 CustomNeRF 与基线方法的 3D 场景重建结果对比,在参考图像和文本驱动的 3D 场景编辑任务中,CustomNeRF 均取得了不错的编辑结果,不仅与编辑提示达成了良好的对齐,且背景区域和原场景保持一致。此外,表 1、表 2 展示了 CustomNeRF 在图像、文本驱动下与基线方法的量化比较,结果显示在文本对齐指标、图像对齐指标和人类评估中,CustomNeRF 均超越了基线方法。



图 3 图像驱动编辑下与基线方法的可视化比较



图 4 文本驱动编辑下与基线的可视化比较



表 1 图像驱动编辑下与基线的定量比较



表 2 文本驱动编辑下与基线的定量比较

总结

本论文创新性地提出了 CustomNeRF 模型,同时支持文本描述或参考图像的编辑提示,并解决了两个关键性挑战 —— 精确的仅前景编辑以及在使用单视图参考图像时多个视图的一致性。该方案包括局部 - 全局迭代编辑(LGIE)训练方案,使得编辑操作能够在专注于前景的同时保持背景不变;以及类引导正则化,减轻图像驱动编辑中的视图不一致,通过大量实验,也验证了 CustomNeRF 在各种真实场景中,能够准确编辑由文本描述和参考图像提示的 3D 场景。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“黑神话吧主没被邀请”上热搜:当事人已红温破防

“黑神话吧主没被邀请”上热搜:当事人已红温破防

游民星空
2024-06-13 20:09:09
热热热!湖北连发37条高温预警,局地气温将升至39℃

热热热!湖北连发37条高温预警,局地气温将升至39℃

极目新闻
2024-06-14 08:22:39
他嫌弃妻子貌丑,却经常和妻子同房,不久后,妻子怀孕生下儿子

他嫌弃妻子貌丑,却经常和妻子同房,不久后,妻子怀孕生下儿子

冰心文史
2024-06-13 17:13:40
凯特全身插满管子的高清照片流出!不露面是因为行动不便,起不来

凯特全身插满管子的高清照片流出!不露面是因为行动不便,起不来

亦纯杂谈
2024-06-13 10:58:45
“一丝不挂”新舞蹈?惹争议,被摸下体更不害臊,金星质疑是对的

“一丝不挂”新舞蹈?惹争议,被摸下体更不害臊,金星质疑是对的

吃鱼思故渊
2024-05-16 21:48:21
农村留守妇女叫我去给她家的猪配种,随后发生的事情让我傻了眼

农村留守妇女叫我去给她家的猪配种,随后发生的事情让我傻了眼

宅家伍菇凉
2024-06-12 18:35:19
C罗表态:愿意在欧洲杯做替补,球队利益至上!拍全家福再失C位!

C罗表态:愿意在欧洲杯做替补,球队利益至上!拍全家福再失C位!

风过乡
2024-06-14 07:27:51
洞房对话让人忍俊不禁,幽默段子,爆笑登场,带给你不一样的快乐

洞房对话让人忍俊不禁,幽默段子,爆笑登场,带给你不一样的快乐

匹夫来搞笑
2024-06-13 19:51:53
期限只剩最后2天!菲律宾救兵到了,3艘055舰应对,歼16已挂实弹

期限只剩最后2天!菲律宾救兵到了,3艘055舰应对,歼16已挂实弹

影孖看世界
2024-06-13 20:47:29
报告显示,中国免签政策见效

报告显示,中国免签政策见效

参考消息
2024-06-14 09:48:21
中俄外长会面后,24小时内,俄罗斯宣布,和中方“撇干净关系”?

中俄外长会面后,24小时内,俄罗斯宣布,和中方“撇干净关系”?

小影的娱乐
2024-06-13 21:55:53
清朝收复新疆之战,左宗棠:不留生俘,降了也杀,换来30年的安定

清朝收复新疆之战,左宗棠:不留生俘,降了也杀,换来30年的安定

否知
2024-06-13 09:59:37
是谁逼急了曾庆洪

是谁逼急了曾庆洪

一笑一言
2024-06-12 09:19:35
官方:足协下发征集18强赛国足主场承办城市的通知

官方:足协下发征集18强赛国足主场承办城市的通知

直播吧
2024-06-14 09:58:10
黄一鸣再度爆料,彻底断了转正的后路!王思聪在日本也有了新女友

黄一鸣再度爆料,彻底断了转正的后路!王思聪在日本也有了新女友

金牌娱乐
2024-06-12 12:12:34
最后一搏?孙杨压哨赴意大利参赛!争取达标巴黎奥运,仍有2阻碍

最后一搏?孙杨压哨赴意大利参赛!争取达标巴黎奥运,仍有2阻碍

我爱英超
2024-06-13 22:22:48
“认祖归宗”天降金门,大陆换打法了,美国人怕了,制定逃跑计划

“认祖归宗”天降金门,大陆换打法了,美国人怕了,制定逃跑计划

小lu侃侃而谈
2024-06-13 15:14:25
潮流圈,一片韭菜田?

潮流圈,一片韭菜田?

Steppy潮流周志
2024-06-14 12:44:13
拱火烧鹅!一觉醒来全是坏消息,普京心里拔凉拔凉的

拱火烧鹅!一觉醒来全是坏消息,普京心里拔凉拔凉的

娱宙观
2024-06-13 10:10:05
武汉最拽卤菜店老板的“3不政策”,一去不复返,和以前判若两人

武汉最拽卤菜店老板的“3不政策”,一去不复返,和以前判若两人

沫姐美食记
2024-06-13 13:51:17
2024-06-14 16:16:49
机器之心Pro
机器之心Pro
专业的人工智能媒体
9079文章数 141943关注度
往期回顾 全部

科技要闻

马斯克重获信任 豪言特斯拉市值超10个苹果

头条要闻

恒大前总裁亏损7800万港元出售豪宅:加拿大籍 已失联

头条要闻

恒大前总裁亏损7800万港元出售豪宅:加拿大籍 已失联

体育要闻

我们为什么还爱欧洲杯?

娱乐要闻

江宏杰秀儿女刺青,不怕刺激福原爱?

财经要闻

私募大佬孙强:中国为什么缺少耐心资本

汽车要闻

提供100/240kW双电机版本车型 乐道L60实车曝光

态度原创

家居
健康
数码
教育
房产

家居要闻

空谷来音 朴素留白的侘寂之美

晚餐不吃or吃七分饱,哪种更减肥?

数码要闻

699 元 23.8 英寸原生 200Hz Fast IPS 屏,HKC G24H1 显示器发布

教育要闻

17岁中专女生姜萍,闯进全球数学竞赛12强。兴趣就是最好的天赋,不管起点如何,保持专注,就一定能有收...

房产要闻

112亿!中建智地+朝开+江苏绿建摘北京首宗多业态地块

无障碍浏览 进入关怀版