网易首页 > 网易号 > 正文 申请入驻

突破AI和机器理解的界限,牛津博士论文学习重建和分割3D物体

0
分享至

  选自arXiv

  作者:Bo Yang

  机器之心编译

  

让机器拥有像人类一样感知 3D 物体和环境的能力,是人工智能领域的一项重要课题。牛津大学计算机科学系博士生 Bo Yang 在其毕业论文中详细解读了如何重建和分割 3D 物体,进而赋予机器感知 3D 环境的能力,突破了人工智能和机器理解的界限。

  赋予机器像人类一样感知三维真实世界的能力,这是人工智能领域的一个根本且长期存在的主题。考虑到视觉输入具有不同类型,如二维或三维传感器获取的图像或点云,该领域研究中一个重要的目标是理解三维环境的几何结构和语义。

  传统方法通常利用手工构建的特征来估计物体或场景的形状和语义。但是,这些方法难以泛化至新物体和新场景,也很难克服视觉遮挡的关键问题。

  今年九月毕业于牛津大学计算机科学系的博士生 Bo Yang 在其毕业论文《Learning to Reconstruct and Segment 3D Objects》中对这一主题展开了研究。与传统方法不同,作者通过在大规模真实世界的三维数据上训练的深度神经网络来学习通用和鲁棒表示,进而理解场景以及场景中的物体。

  总体而言,本文开发了一系列新型数据驱动算法,以实现机器感知到真实世界三维环境的目的。作者表示:「本文可以说是突破了人工智能和机器理解的界限。」

  这篇博士论文有 143 页,共六章。机器之心对该论文的核心内容进行了简要介绍,感兴趣的读者可以阅读论文原文。

  

  论文地址:https://arxiv.org/pdf/2010.09582.pdf

  论文概述

  作者在第 2 章首先回顾了以往 3D 物体重建和分割方面的研究工作,包括单视图和多视图 3D 物体重建、3D 点云分割、对抗生成网络(GAN)、注意力机制以及集合上的深度学习。此外,本章最后还介绍了在单视图 / 多视图 3D 重建和 3D 点云分割方面,该研究相较于 SOTA 方法的新颖之处。

  基于单视图的 3D 物体重建

  在第 3 章,作者提出以一种基于 GAN 的深度神经架构来从单一的深度视图学习物体的密集 3D 形状。作者将这种简单但有效的模型称为 3D-RecGAN++,它将残差连接(skip-connected)的 3D 编码器 - 解码器和对抗学习结合,以生成单一 2.5D 视图条件下的完整细粒度 3D 结构。该模型网络架构的训练和测试流程如下图所示:

  

  接着,作者利用条件对抗训练来细化编码器 - 解码器估计的 3D 形状,其中用于 3D 形状细化的判别器结构示意图如下:

  

  最后,作者将提出的 3D-RecGAN++ 与 SOTA 方法做了对比,并进行了控制变量研究。在合成和真实数据集上的大量实验结果表明,该模型性能良好。

  基于多视图的 3D 物体重建

  在第 4 章,作者提出以一种新的基于注意力机制的神经模块来从多视图中推理出更好的 3D 物体形状。这种简单但高效的注意力聚合模块被称为 AttSets,其结构如下图所示。与现有方法相比,这种方法可以学习从不同图像中聚合有用信息。

  

  此外,研究者还引入了两阶段训练算法,以确保在给出一定数量输入图像的情况下,预估的 3D 形状具有鲁棒性。研究者在多个数据集上进行了实验,证明该方法能够精确地恢复物体的 3D 形状。

  从点云中学习分割 3D 物体

  在第五章中,研究者提出了一个新的框架来识别大规模 3D 场景中的所有单个 3D 物体。与现有的研究相比,该研究的框架能够直接并且同时进行检测、分割和识别所有的目标实例,而无需任何繁琐的前 / 后处理步骤。研究者在多个大型实际数据集上展现了该方法相对于基线的性能提升。

  作者介绍

  本文作者 Bo Yang 现为香港理工大学计算机系助理教授。他本科和硕士分别毕业于北京邮电大学和香港大学,然后进入牛津大学计算机科学系攻读博士学位,其导师为 Niki Trigoni 和 Andrew Markham 教授。

  Bo Yang 作为一作以及合著的论文曾被《计算机视觉国际期刊》(IJCV)以及 NeurIPS 和 CVPR 等学术会议接收,谷歌学术主页上显示他共著有 22 篇论文,被引用数超过 400。

  

  论文目录如下:

  

  

  

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

新西兰贸易部长:澳大利亚应学我们,多用外交技巧和中国打交道

观察者网
2021-01-28 13:46:50

王自健分享iPhone 12 mini续航:一上午时间电量就只剩25%了

快科技
2021-01-28 11:55:22

德云社全军覆没,央视春晚被踢出名单,郭德纲究竟得罪了谁?

华薛娱乐
2021-01-28 07:34:14

时间抓紧!明天1月29日晚上,全国油价连续第6次上涨......

今日油价
2021-01-28 09:55:25

敦煌市有关负责人:部分葡萄园有审批失当问题

新京报
2021-01-28 15:22:27

新娘被男闺蜜叫走8分钟,回来后婚宴没了只留下口信:婚礼取消

体育课副班长
2021-01-27 22:29:27

说领导是草包结果被拘留?新华社终于发声了

蓝子见闻
2021-01-27 19:10:14

贾玲终于承认了!与姜昆不为人知的关系,原来我们都被骗了

爱玲说爱情
2021-01-28 09:13:20

重磅突发!华为人事大调整,余承东被赋予新使命!阿里云、腾讯云迎来劲敌

e公司
2021-01-27 20:09:45

看了“严书记”的忏悔,“草包书记”的前夫作何感想

凡间事
2021-01-28 12:52:51

《乘风破浪的姐姐2》告诉我们千万不要去打针,僵脸多到数不过来

八姐论八卦
2021-01-27 19:44:58

在地下蛰伏17年后,数十亿只蝉将于今夏在美国东海岸地区破土而出

万千新鲜事
2021-01-28 05:34:31

湖北“代孕村”被曝光,村里女性几乎都做过,一次能挣20-30万

民生观点
2021-01-27 22:16:33

男子载岳父返乡,高速上接到妻子电话:我爹“飞”了你知道吗!

热血汽车资讯
2021-01-28 00:56:16

美军解密!越战中伤亡最惨重的一次非战斗减员事件——人蛇大战

巧巧宠物
2021-01-28 12:27:11

重磅!曝梅西开出加盟巴黎条件:1.8亿巨星走人,阿圭罗加盟

足球慢镜头
2021-01-28 10:15:48

这个陪微信跑了10年的App,如今却要关闭服务器了

差评
2021-01-28 10:41:17

领导结婚,我随礼五千后辞职,1年后,他来找我,包里还装着钱

生活大火锅
2021-01-27 21:34:14

北京6岁男孩确诊新冠,感染过程曝光,刺痛了1000万父母

男孩派
2021-01-26 11:06:02

广西:老者说肚子饿,好心人买了牛肉粉给他,老人只吃肉,米粉端起就倒了

擦车工聊车
2021-01-27 14:39:21
2021-01-28 16:37:02
机器之心Pro
机器之心Pro
专业的人工智能媒体
5622文章数 114226关注度
往期回顾 全部

科技要闻

蚂蚁花呗用户可自己调整额度了!花超将提醒

头条要闻

亲自下场?日媒:拜登和菅义伟通电话 又提到钓鱼岛

头条要闻

亲自下场?日媒:拜登和菅义伟通电话 又提到钓鱼岛

体育要闻

又是加时收比赛!遇到巨头 老鹰兴奋

娱乐要闻

张柏芝做瑜伽拍美照 身体柔韧度超高

财经要闻

汽车要闻

赛力斯新车规划曝光 推中大型SUV和运动车型

态度原创

教育
本地
数码
时尚
家居

教育要闻

戒尺打手心遭停课致歉 老师该如何惩戒熊孩子?

本地新闻

《赛博朋克2077》超级摩天大楼为何头重脚轻?

数码要闻

iPad发布十一周年 盘点iPad历史里程碑事件

欧舒丹美国子公司申请破产 计划关闭23家亏损门店

家居要闻

美女仅花1万爆改毛坯房成酷炫电竞屋 电脑超硬核