网易首页 > 网易号 > 正文 申请入驻

升级AR体验!谷歌发布Tensorflow 3D工具包,助力三维场景理解

0
分享至

  

  From: Google;编译: T.R

  随着3D传感器(如激光雷达、深度相机、毫米波雷达等)的不断发展和普及,处理这些传感器信息的 3D场景理解 技术 也需要不断更新。有了这些技术,机器学习系统可以利用这些传感器,更好地引导机器人和自动驾驶汽车在真实世界中运动和操作;同时,也能为提升增强现实提供有效的技术保障。

  近年来,这一计算机视觉方向在3D场景理解方面取得了长足的进步(如运动3D目标检测、透明物体检测等),但却缺乏高效的研究工具和可应用于3D数据的充分资源。

  为此,来自谷歌的研究人员发布了Tensorflow 3D(TF 3D)工具框架,这是一个主要针对3D深度学习设计的高度模块化Tensorflow工具包,提供了一系列通用的3D操作,包括了损失函数、数据处理工具、模型和度量标准,使更多的研究人员可以运用这一工具训练并部署前沿的3D场景理解模型。

  更多详情,请访问原文和项目主页:

  

  原文链接:

  https://ai.googleblog.com/2021/02/3d-scene-understanding-with-tensorflow.html

  项目主页:

  https://github.com/google-research/google-research/tree/master/tf3d

  TF 3D 包含最前沿 3D场景分割 、 3D目标检测 、 3D实例分割 的训练和评价工作流程,同时支持分布式训练。它同时还可应用于 3D形状预测 、 点云配准 、 点云加密 等领域。此外,它还为标准的3D场景理解数据集提供了统一的配置接口。目前可以有效支持Waymo Open、ScanNet、Rio数据集。

  用户可以利用预处理工具将KITTI或NuScenes等其他数据集转换为相似的数据格式来使用,从而将 TF 3D 应用于更广泛的3D深度学习研究中,加速从想法实验原型到实时推理系统部署的过程。

  

  左图显示了 TF 3D 中的3D目标检测模型在Waymo Open Dataset中的一帧输出结果。右图显示了实例分割模型在ScanNet数据集中的输出结果。

  TF 3D 也提供了高效、可配置的稀疏卷积主干网络结构,这是不同类型3D场景理解任务的关键所在。TF 3D 将完整支持3D场景理解、3D目标检测、3D实例分割这三个典型任务的工作流。

  3D稀疏卷积网络

  传感器捕捉的3D数据中包含一系列由周围环境包围的感兴趣目标(如行人和车辆等),这意味着3D数据天然具有稀疏性,使用标准的卷积将会造成庞大的计算与内存开销。

  所以TF 3D 模型使用了稀疏卷积和池化操作,高效的设计使其十分适合处理3D稀疏数据。因此,稀疏卷积模型是应用于户外自动驾驶中前沿方法的核心所在。

  研究人员使用不同的CUDA技术来加速上述计算(包括哈希、分片、共享内存缓存滤波器、使用位操作等)。在Waymo Open dataset中的实验表面,这些加速操作相比于先前TF中的默认操作提速约20x。

  TF 3D 利用3D子流形稀疏U-Net架构来抽取每个体素的特征。U-Net架构可以有效抽取由粗到细的多层次特征,并同时融合它们进行预测。U-Net架构由编码器、压缩层和解码器构成,它们由一系列数量不同的稀疏卷积模块和上下采样操作构成。

  

  稀疏3D体素U-Net架构,水平箭头表示体素特征应用了子流形稀疏卷积。向下箭头表示自流形池化、向上箭头表示聚合池化特征,垂直方向的箭头将模块与水平特征进行衔接,随后使用稀疏卷积处理衔接在一起的特征。

  上图描述了 TF 3D 提供的用于3D场景理解的稀疏卷积网络。下文提到的每个任务都使用了这一网络作为基础架构来从稀疏体素中抽取特征,随后连接不同的预测头来完成不同的任务。用户可以根据需要,配置基础架构中编码器和解码器的层数,也可以修改卷积层的大小,以便有效调和速度与精度的平衡。

  3D语义分割

  3D语义分割模型只有一个输出头用于预测每个体素所属的语义评分,从而计算出每个点的语义得分。

  

  来自ScanNet数据集室内场景的3D语义分割

  3D实例分割

  3D实例分割任务需要在语义分割的基础上将属于同一个目标的体素进行分组聚合。模型不仅预测每个体素的实例嵌入向量,也会预测每个体素的语义分数。实例嵌入向量将体素映射到一个实例嵌入空间内,属于同一物体的体素嵌入表达在这一空间中相互靠近,而属于不同目标的体素嵌入则相距甚远。

  在输入是点云的情况下,3D稀疏网络代替2D网络,在推理过程中利用贪心算法选取实例种子,并利用体素嵌入的距离函数将不同的体素聚合到对应的实例上去。

  3D目标检测

  3D目标检测模型预测出体素的大小、中心、旋转度量以及目标语义分数。在推理时,推选机制将给出的多个候选框处理为少数几个精确的3D目标框。在训练时使用了预测与GT间的Huber Loss距离来计算损失。由于利用大小、中心和旋转矩阵估算框边角是可差分过程,损失可以自然地传递到预测过程的权重中。研究人员利用动态框分类损失来对预测的框进行正例和负例进行区分。

  

  在ScanNet数据集上的3D目标检测预测结果

  在最近的论文“DOPS: Learning to Detect 3D Objects and Predict their 3D Shapes”中,研究人员提出了一种基于 TF 3D 实现的单阶段弱监督学习算法,用于3D目标检测,并拓展到利用稀疏LSTM多帧模型来充分利用时序信息。这在Waymo Open dataset上得到了7.5%的性能提升。

  

  DOPS论文中提出的3D目标检测模型和形状预测模型。3D稀疏U-Net用于为每个体素抽取特征向量,目标检测模型则利用这些特征来给出3D边界框和语义分数。同时,其他的分支预测了形状嵌入,用于为每个目标输出网格形状。

  Illustration by Oleg Shcherba from Icons8

  - The End -

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

一巨星代表一国家:印度是阿米尔,日本木村拓哉,你认为中国是谁

许绦娱文
2021-04-17 09:45:32

丈夫去世2年她怀孕,婆婆在医院羞辱她,医生一句话,婆婆蒙了

小历闲话
2021-04-17 16:16:11

泽连斯基终于怂了!希望与普京和平谈判,却遭俄军下达最后通牒

全球观察室
2021-04-17 21:52:10

猛降140万!100万!40万!一天抛售千套房,苏州一批房东扛不住了

熊孩子哎捣乱
2021-04-18 03:12:18

全文来了!7位姐姐的成团发言对比,杨钰莹的格局和文采真好啊

扒圈主持人
2021-04-17 11:27:10

北约出手了!4万名军人连夜赶往俄罗斯边境部署,俄方重磅发声

新君清观察
2021-04-17 17:52:27

白宫为会谈准备了汉堡,菅义伟会后告诉记者:我完全没动

环球网资讯
2021-04-17 19:02:10

事态越来越糟,大陆火力全开引全球沸腾,蔡英文却装瞎,岛内炸锅

上下古今说历史
2021-04-18 04:59:10

《猎鹰与冬兵》:盾牌没了自己焊一个,这个被罢免的美队疯了吗?

夕殿飞思悄然
2021-04-17 20:15:00

离婚冷静期30天,妻子却与陌生男人高调约会同居,丈夫哭红了眼

棒棒糖的初恋
2021-04-17 18:49:37

通报!新疆1名重要退休领导干部被查!3人因受贿等罪被提起公诉!

新疆的故事
2021-04-17 17:17:03

iPhone 12 Pro系列在魅族商城上架 到手价低至4399元!

手机中国
2021-04-16 11:13:08

日本“驻台代表处”升起日国旗,环球时报警告:离台湾问题远一点

海峡导报社
2021-04-17 17:08:03

一波18-3!恒大踢疯了,冲广州德比6连胜,4.2亿对决,CCTV5直播

侃球熊弟
2021-04-18 07:18:26

爸爸错发消息到家长群,内容叫人浮想联翩,妈妈:没脸接孩子了

糖心教育
2021-04-10 13:33:34

养老金17连涨确定4.5%,5类人都能多涨钱,但我认为要看3个前提

山药蛋TV
2021-04-17 17:11:23

潍柴动力:氢燃料电池发动机寿命可达 2.5 万小时,最大续航里程 600 公里

IT之家
2021-04-17 19:24:09

纯正的汉族人是单眼皮?那双眼皮又源于哪里?作为中国人必须了解

午夜情书
2021-04-16 18:22:08

大爆发!2000亿巨头突然火了,聪明钱加仓3亿股!更有千倍预增股单周股价翻倍,外资34亿杀入一行业!

中国基金报
2021-04-18 00:45:30

跑不了!退休3个月后,省体育局原局长被查

中国青年报
2021-04-17 09:25:59
2021-04-18 08:57:07
将门创投
将门创投
加速及投资技术驱动型初创企业
164文章数 134关注度
往期回顾 全部

科技要闻

极狐阿尔法S华为H1版起价38.89万元

头条要闻

外媒称联合国也不能无障碍地去新疆参访 中方回应

头条要闻

外媒称联合国也不能无障碍地去新疆参访 中方回应

体育要闻

林皇点射扳平+伤退 10人西汉姆2-3纽卡

娱乐要闻

杨紫穿婚纱亮相 卷发披肩甜笑迷人

财经要闻

汽车要闻

轴距同Model X 体验一汽-大众ID.6 CROZZ

态度原创

本地
时尚
家居
公开课
军事航空

本地新闻

一段亲密关系中,如何让亲密感和新鲜感共存?

张雨绮疑似新恋情被拍 男友是小8岁的帅哥提琴手

家居要闻

港男月入过万只能带妻儿住7平蜗居 在洗衣机上做饭

公开课

被世卫组织拉黑的它,你天天都在吃!隐患极大

军事要闻

翘脚看航母翘腿听汇报 美两次翘脚背后说明啥?