网易首页 > 网易号 > 正文 申请入驻

英伟达用AI将2D照片制成3D模型,可让用户即兴创作,并能适配任何传统图形引擎

0
分享至

NVIDIA 正在利用 AI 让设计师、游戏开发等人员在短时间内用 3D 对象进行创作。创作者们能够使用其提出的 NVIDIA 3D MoMa 方法对内容进行快速导入、修改和更改材质等工作。

图 | 由静态图片制作的虚拟乐队(来源:NVIDIA)

“逆渲染是一种将一系列静态照片重建为物体或场景 3D 模型的技术。该技术长期以来对统一计算机视觉和计算机图形学至关重要。”NVIDIA 图形研究副总裁大卫·吕布克(David Luebke)说,“通过将逆渲染问题的每一部分表述为 GPU 加速的可微分组件,NVIDIA 3D MoMa 渲染管道使用现代 AI 的机制和 NVIDIA GPU 的原始计算能力来快速生成 3D 对象,创作者可以在现有工具中不受限制地导入、编辑和扩展。”

传统上,人们创建 3D 对象会使用摄影测量技术,这涉及的是一个多阶段、相当耗时的过程。创作者需要通过大量的软件工具和手动调整来达到最终期望的 3D 模型效果。

目前的神经辐射场(Neural Radiance Fields,NeRF)等技术在生成对象或场景的 3D 表示方面取得一定优势,并提供了高质量的新视图合成。

然而,这些方法通常会产生将几何图形、材料和照明纠缠到神经网络中的表示形式,不能以三角形网格格式生成,因此很难支持场景编辑操作。“三角形网格是用于在 3D 图形和建模中定义形状的基础框架,是此类 3D 工具使用的通用语言。”研究者在 NVIDIA 官网博文中写到。

另外,为了更为实用,3D 对象应该适配众多常用工具,比如,游戏引擎、3D 建模器和电影渲染器等。而要在传统的图形引擎中使用它们,需要使用诸如标记立方体等方法从网络中提取几何图形,这可能会导致较差的表面质量,特别是在低三角形计数时。神经网络编码的材料不能轻易地编辑或提取与传统游戏引擎兼容的形式。

相比之下,本次研究重建了与传统图形引擎兼容的 3D 内容,支持重启和场景编辑。由此产生的 3D 模型不需要转换就可以在任何支持三角形渲染的设备上进行部署,手机和网页浏览器同样适用。它可以在标准的游戏引擎中不经修改地使用,并对所有阶段进行基于梯度的优化。


图 | 从一组多视图图像中重建具有未知拓扑结构、空间变化材料和照明的三角形网格(来源:arxiv )

该三维重建方法 NVIDIA 3D MoMa 的相关论文,近日在 2022 年计算机视觉和模式识别会议(CVPR,Conference on Computer Vision and Pattern Recognition)上发表,并以《从图像中提取三角形三维模型、材质和照明》()为题提交在 arxiv 上。


图 | 研究方法概述(来源:arxiv )

研究人员针对各种应用程序来评估他们的系统,对已有对象进行重新编辑和模拟,以展示他们的方法显式分解为三角形网格和材料,并与 NeRF、神经反射分解(NeRD,Neural Reflectance Decomposition)等方法做了比较。


图 | 与 NeRF、NeRD 的对比(来源:arxiv)

值得一提的是,研究人员还做了一个虚拟乐队视频演示,以体现 NVIDIA 3D MoMa 的强大功能。

首先,他们从不同角度拍摄了约 100 张乐器图像,并用新提出的研究方法将这些静态图像分别重建为 3D 表示和三角形网格。


然后,将对象从原始场景中分离出,再导入 NVIDIA Omniverse 3D 平台编辑。在广泛使用的图形引擎中,可轻易地将产生的形状材料替换为黄金、木材等不同材质,就好像把网格装扮成不同的装饰一样,也能将其放在任意虚拟场景(比如康奈尔盒,一种经典图形测试)中。


最后证明,不同的虚拟乐器对光有不同反应,跟在现实中几乎相同。新生成的对象能够用作复杂化场景的构建块。


(来源:NVIDIA 官网)

值得注意的是,研究人员在论文中还表示:“为了加速优化,选择了简化的着色模型,也没有考虑全局照明或阴影。这种选择是材料提取和回收的限制因素。在未来的工作中,随着目前在可微路径跟踪方面的进展,这一限制有望得到解除。”

总的来说,本研究展示了一种与最先进的视图合成等技术相媲美的方法,同时还有着优化的三角形网格、兼容传统图形引擎和建模工具等优势,并由渲染模型的外观驱动来执行端到端优化。

这简化了进行 3D 内容创作人员的大量工作流程,极大节省他们的时间和提升效率。该研究方法还可以作为外观感知转换器,补充了许多最近的技术。

-End-


参考:
https://arxiv.org/abs/2111.12503
https://blogs.nvidia.com/blog/2022/06/21/inverse-rendering-3d-research-cvpr/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
乌军再次展现远程打击能力!俄军在克里米亚的大型弹药库遭炸毁

乌军再次展现远程打击能力!俄军在克里米亚的大型弹药库遭炸毁

门卫秦大爷看世界
2022-08-16 15:08:55
中国台湾IC设计服务公司:预计美国针对大陆的新出口禁令影响有限

中国台湾IC设计服务公司:预计美国针对大陆的新出口禁令影响有限

爱集微APP
2022-08-16 14:00:08
美国内战进入倒计时,特朗普支持者已开始行动,袭击了FBI

美国内战进入倒计时,特朗普支持者已开始行动,袭击了FBI

深蓝航迹
2022-08-16 10:13:33
四川!重要天气预报消息!新一轮气温“大转变”!四川的气温和降水将会迎来下列变化

四川!重要天气预报消息!新一轮气温“大转变”!四川的气温和降水将会迎来下列变化

南港
2022-08-16 17:12:46
丑陋!乱港总头目黎智英命运未决,“狗咬狗”的闹剧就已经上演

丑陋!乱港总头目黎智英命运未决,“狗咬狗”的闹剧就已经上演

美丽的二
2022-08-16 13:27:05
又一知名演员被捕!前妻曝光内幕,半个娱乐圈都慌了...

又一知名演员被捕!前妻曝光内幕,半个娱乐圈都慌了...

感觉会火
2022-08-16 09:13:54
1965年,两名南越士兵正在给战俘动用极其残酷的“水刑”

1965年,两名南越士兵正在给战俘动用极其残酷的“水刑”

益智小测试
2022-08-16 13:39:20
绿军老板:我们在总决赛中2-1领先勇士 距离珠穆朗玛峰仅两步之遥

绿军老板:我们在总决赛中2-1领先勇士 距离珠穆朗玛峰仅两步之遥

直播吧
2022-08-16 15:03:02
公安副局长外逃南非,专门劫杀华人,华人富豪悬赏50万终于抓到他

公安副局长外逃南非,专门劫杀华人,华人富豪悬赏50万终于抓到他

历史有料吧
2022-08-16 13:53:05
10大元帅授衔后,庆功宴上众人向一人敬军礼,朱德说:你也是元帅

10大元帅授衔后,庆功宴上众人向一人敬军礼,朱德说:你也是元帅

坚持手工活
2022-08-16 15:33:14
若美国支持台湾独立,中国大陆是否不惜同美开战?我大使霸气回应

若美国支持台湾独立,中国大陆是否不惜同美开战?我大使霸气回应

袁周院长
2022-08-16 17:22:14
确实很热!全国高温榜不再一省独大!云南也加入!重庆局地达48.6℃

确实很热!全国高温榜不再一省独大!云南也加入!重庆局地达48.6℃

民声天下
2022-08-16 15:38:10
河北省三河市:倡导市民群众非必要不出行,尽量减少外出旅行

河北省三河市:倡导市民群众非必要不出行,尽量减少外出旅行

界面新闻
2022-08-16 17:33:01
难怪能把张艺谋迷倒,当看到这几张照片,网友:是男人都会喜欢

难怪能把张艺谋迷倒,当看到这几张照片,网友:是男人都会喜欢

机车有毒mo
2022-08-16 09:36:28
王子文的新瓜,这次有点大!网友:果然,暖男都是装出来的

王子文的新瓜,这次有点大!网友:果然,暖男都是装出来的

無星记
2022-08-15 21:54:56
触目惊心!重庆开州四个孩子玩水溺亡,知情人透露真实情况

触目惊心!重庆开州四个孩子玩水溺亡,知情人透露真实情况

微民视野
2022-08-16 11:33:44
新冠感染者的自述:转阴后的症状比阳性时还严重,看来是后遗症

新冠感染者的自述:转阴后的症状比阳性时还严重,看来是后遗症

爱和健康伴你行
2022-08-16 14:27:48
45岁“变性人”河莉秀的十年婚姻:为“爱”付出的代价太大

45岁“变性人”河莉秀的十年婚姻:为“爱”付出的代价太大

嘈坊
2022-08-16 16:26:19
谷歌宣布:Android 13正式开源 源代码已公开!华为小米等厂商可用了

谷歌宣布:Android 13正式开源 源代码已公开!华为小米等厂商可用了

快科技
2022-08-16 07:26:22
穿和服违法吗,中国人穿和服违反了哪条法律?

穿和服违法吗,中国人穿和服违反了哪条法律?

观察者壹号
2022-08-16 14:16:19
2022-08-16 18:32:49
DeepTech深科技
DeepTech深科技
麻省理工科技评论独家合作
11336文章数 503473关注度
往期回顾 全部

科技要闻

大量减持京东后 腾讯这次又对美团下手了?

头条要闻

乌克兰要内乱?乌高官:西方已决定泽连斯基的继任者

头条要闻

乌克兰要内乱?乌高官:西方已决定泽连斯基的继任者

体育要闻

4根杠杆换7个亿的巴萨 离破产还有多远?

娱乐要闻

吴京被女子两次挽手臂 赶忙甩手拒绝

财经要闻

汽车要闻

马自达3昂克赛拉/CX-30黑曜版今晚上市

态度原创

教育
时尚
本地
数码
军事航空

教育要闻

北大学霸家长经验分享!让孩子爱上学习的秘密在这里!

HM天猫店重新开张 此前因抵制新疆棉被下架

本地新闻

读完这个专业,有多少人的胸肌从A变到了C?

数码要闻

“五福一安”再见!苹果祖传充电头上市13年后官网售罄

军事要闻

实拍坦克两项赛中方坦克赛场狂飙

进入关怀模式