本期为TechBeat人工智能社区第622期线上Talk。
北京时间9月4日(周三)20:00,清华大学博士生诸子钰的Talk将准时在TechBeat人工智能社区开播!
他与大家分享的主题是:“面向具身智能的通用3D视觉语言理解”,届时将深入探讨具身智能和3D视觉语言模型,介绍我们的两项最新研究成果PQ3D和SG3D。
Talk·信息
主题:面向具身智能的通用3D视觉语言理解
嘉宾:清华大学 · 博士生 - 诸子钰
时间:北京时间9月4日(周三)20:00
地点:TechBeat人工智能社区
http://www.techbeat.net/
Talk·介绍
具身智能是最近一段时间十分受人关注的研究话题,随着像GPT-4V这样的大型视觉语言模型以及机器人系统RT-2的出现,能够进行家用的具身智能体离我们又进了一步。
在这一领域,3D视觉语言模型扮演着智能体的“眼睛”和“大脑”,对于智能体感知世界、理解人类语言并执行相应动作具有关键作用。
本期Talk将深入探讨具身智能和3D视觉语言模型,介绍我们的两项最新研究成果PQ3D和SG3D。在PQ3D,Unifying 3D Vision-Language Understanding via Promptable Queries,我们提出了一个通用的3D视觉语言模型,能够利用Voxel,Point,Image三种表征形式,去解决多种3D视觉语言任务。
在SG3D中,我们针对具身智能任务规划设计了一个评测language grounding的benchmark, 把每一步动作指令对应到了相应的物体上,并且测试了two-stream, query-based以及3D-LLM在这一任务上的表现。
Talk大纲
1. 具身智能的相关背景。
2. 3D视觉语言模型在具身智能中的意义。
3. 介绍我们在ECCV24上的最新工作,PQ3D,Unifying 3D Vision-Language Understanding via Promptable Queries, 能够灵活利用多种表征来解各种3D视觉语言任务的通用模型。
4. 介绍我们面向具身智能的3D视觉语言benchmark, SG3D, Task-oriented Sequential Grounding in 3D Scenes。
5. 总结与展望。
Talk·预习资料
项目链接: https://3d-vista.github.io/
项目链接: https://pq3d.github.io/
项目链接: https://sg-3d.github.io/
项目链接: https://embodied-generalist.github.io/
项目链接: https://sqa3d.github.io/
Talk·提问交流
在Talk界面下的【交流区】参与互动!留下你的打call和问题,和更多小伙伴们共同讨论,被讲者直接翻牌解答!
你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!
Talk·嘉宾介绍
诸子钰
清华大学 博士生
诸子钰,清华大学计算机系四年级博士生。研究方向为3D视觉语言学习,生成式模型,在ICCV,ECCV,ICML,AAAI,TMM等顶级会议和期刊发表多篇论文。
个人主页: https://www.techbeat.net/grzytrkj?id=8463
-The End-
如果你也想成为讲者
自荐 / 推荐
单人Talk | 团队专场 | 录播or直播 | 闭门交流
多种方式任你选择!
推荐讲者成功也有奖励哦~
关于TechBeat人工智能社区
TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!
更多详细介绍>>
预约本期Talk
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.