7.18直播 | 「热门研究云际会」3D场景下通用物体表征

随着虚拟现实、增强现实和自动驾驶等技术的快速崛起，对于准确、高效地理解和操作三维环境的需求变得日益迫切。本次「热门研究云际会」我们把目光聚焦在“3D场景下的通用物体表征”。为此，我们邀请到CV领域的专家及青年学者，他们分别是剑桥大学博士生蔡彦成、香港大学博士生陈润健、复旦大学博士生袁家康和上海人工智能实验室青年研究员张铂，来分享各自在CVPR 2023 和 ICLR 2023中收录的工作。相信通过这次交流，我们将探索更加高效、准确理解和操作3D场景的方法，并共同推动该领域的发展。

活动主题：

3D场景下通用物体表征

现场议程

嘉宾工作介绍

主题①

通过以对象为中心的神经散射函数进行多对象操作

分享嘉宾

蔡彦成

蔡彦成是2023年剑桥大学即将入学的计算机科学博士生。于2019~2023年就读于复旦大学并获得工学学士学位。先后在复旦陈涛教授课题组（2020-2023）、斯坦福大学李飞飞吴佳俊教授课题组SVL担任科研助理（2022-2023）。以共同第一作者身份在CVPR2023和SCI一区期刊上发表了2篇论文，同时还有1篇第一作者T-IP在投（Minor Revision）。担任CVPR2022、2023和ECCV2022顶级会议，T-PAMI顶级期刊的审稿人。

分享内容

学习的视觉动力学模型已被证明对于机器人操纵任务非常有效。然而，如何最好地表示涉及多对象交互的场景仍然不清楚。当前的方法将场景分解为离散的对象，但它们在具有挑战性的光照条件下难以进行精确建模和操纵，因为它们只编码与特定光照相关的外观。在这项工作中，我们提出在模型预测控制框架中使用以对象为中心的神经散射函数（OSF）作为对象表示。

论文标题： Multi-Object Manipulation via Object-Centric Neural Scattering Functions 论文链接： https://arxiv.org/abs/2306.08748 项目主页： https://s-tian.github.io/projects/actionosf/ 参考知乎： https://zhuanlan.zhihu.com/p/638749931

协同无监督三维表征学习

分享嘉宾

陈润健

陈润健，2020年本科毕业于浙江大学竺可桢学院，2021年进入香港大学（HKU-MMLab）攻读博士，导师是罗平老师。研究方向为无监督三维表征学习以及其在自动驾驶中的应用。

目前以第一作者发表ICLR，RAL各一篇。获得港府奖学金，香港大学校长奖学金，Y S and Christabel Lung研究生奖学金（2021）等。

分享内容

对比学习中，不同视图的构建是学习效果的决定因素之一，之前有研究证明，不同视图之间的互信息不能太大也不能太小，需要达到一个sweet spot。

之前基于对比学习的无监督三维表征学习方法大致可以分成两类：用点云的随机增强构建两个视图（互信息太大）；用不同时刻的点云构建两个视图（互信息太小）。

本文提出使用车路协同数据集进行对比学习，同时提出一个局部点云分布恢复的预训练任务，用来增加学到的表征中与任务相关的信息。

论文标题

CO3: Cooperative Unsupervised 3D Representation Learning for Autonomous Driving

论文链接：

https://openreview.net/forum?id=QUaDoIdgo0

主题③

降低自动驾驶迁移学习中的数据标注成本

分享嘉宾

袁家康

袁家康，2022年本科毕业于复旦大学电子工程系，同年9月开始在复旦大学攻读博士学位，导师为陈涛老师。目前的研究聚焦于为3D场景下通用表征学习、3D场景迁移学习。目前以第一作者、共同一作在CCF-A类会议发表论文2篇。

分享内容

由于采集设备和采集环境的差异，不同自动驾驶场景之间存在严重的域差异。目前，大家通常通过无监督跨域学习的思路利用伪标注等方式解决此问题，但是，与全监督下的目标域性能还是有较大差距。为此，我们思考如何利用尽可能少的标注促进目标域性能的提升，提出一套双域主动学习算法。

• 研究背景介绍：自动驾驶中的域差异及无监督跨域思路

• 研究内容：双域主动学习算法 (Bi3D)

• 主动学习与主动学习+域迁移，分析传统的主动学习技术应用在自动驾驶场景的缺点

• 本文提出的双域主动学习，同时从源域和目标域选择样本

论文标题：

Bi3D: Bi-domain Active Learning for Cross-domain 3D Object Detection

论文链接

https://arxiv.org/abs/2303.05886

代码链接：

https://github.com/PJLab-ADG/3DTrans

主题④

面向自动驾驶场景的多数据集表征学习

分享嘉宾

张铂

张铂，2022年6月获复旦大学博士学位。研究方向为3D场景下通用表征学习、多模态文档统一表征+大模型，2D/3D领域适配等。

目前作为第一作者、通讯作者在CCF-A类会议和期刊发表论文9篇。担任CVPR/ECCV/ICCV/ICLR/ACM MM/TNNLS/TMM等多个顶级学术会议和期刊的审稿人。在校期间曾获博士生国家奖学金，“互联网+”大学生创新创业大赛国赛金奖，上海市优秀毕业生等荣誉。主导和参与2项上海市科委纵向课题，现任上海人工智能实验室青年研究员，主导研发3DTrans Codebase，多模态-结构化文档大模型等课题。

分享内容

当前的3D感知模型遵循单数据集训练-测试范式。这种单数据集训练-测试范式面临两个主要挑战：1）3D感知数据集差异大：现有的3D感知数据集是由不同厂商采用不同类型传感器采集获得的，具有强的dataset-level数据分布差异、taxonomy分布差异；2）3D感知模型通用性弱：当感知模型在一个数据集(域)上训练并且直接部署到另一个数据集上时，通常会面临更严重的感知性能下降。

因此，“本次talk主要针对目前3D感知模型单数据集训练-测试范式面临的主要两个挑战，结合我们初步探索的一些经验，简要介绍我们团队在CVPR-2023中发表的工作Uni3D，并分析如何在海量3D感知数据集中以较低的代价实现开放场景应用。”

论文链接： https://arxiv.org/abs/2303.06880 代码链接： https://github.com/PJLab-ADG/3DTrans

直播奖品

参与直播抽奖，好运连连看~ 有机会获得：自动驾驶领域新书！《自动驾驶：感知原理与实践》

锁定热门方向，聚焦前沿分享，期待与你在这里一起碰撞出更多灵感的火花！

7月18日，TechBeat直播间，

我“门”与你不见不散！

-The End-

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门投资基金、将门创新服务以及TechBeat人工智能社区。公司致力干通过连接技术与商 业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈