网易首页 > 网易号 > 正文 申请入驻

Talk预告 | 腾讯AI Lab研究员童湛&南京大学谈婧:基于注意力机制的视频自监督表示学习和时序动作检测

0
分享至

本期为TechBeat人工智能社区第465期线上Talk !

北京时间12月22日(周四)20:00,腾讯AI Lab研究员——童湛&南京大学计算机科学与技术系硕士研究生——谈婧的Talk将准时在TechBeat人工智能社区开播!

他们与大家分享的主题是:“基于注意力机制的视频自监督表示学习和时序动作检测”, 届时将分享 在视频理解领域的注意力机制设计和学习方法,包括1)视频掩码自编码器VideoMAE,设计了高掩码率的通道掩蔽策略,有效实现了视频Transformer的预训练,在众多下游任务展现了优异的识别性能; 2)视频时序动作检测器PointTAD,提出了基于稀疏点表示的多类时序动作检测框架,通过动态交互和解码模块,实现了多类别并发动作实例的并行解译。

Talk·信息

主题:基于注意力机制的视频自监督表示学习和时序动作检测

嘉宾 :腾讯AI Lab研究员 童湛

南京大学计算机科学 技术系 硕士研究生 谈婧

时间:北京时间12月22日(周四) 20:00

地点:TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

基于注意力机制的视频自监督表示学习和时序动作检测

视频理解已经成为现阶段人工智能领域的研究热点和难点,视频自监督表示学习和时序动作检测是其中的关键技术。注意力机制(Attention)已经在视觉、语音、自然语言处理等领域展现了强大的表示和建模能力。在本次Talk中,我们将介绍在视频理解领域的注意力机制设计和学习方法,包括1)视频掩码自编码器VideoMAE,设计了高掩码率的通道掩蔽策略,有效实现了视频Transformer的预训练,在众多下游任务展现了优异的识别性能;2)视频时序动作检测器PointTAD,提出了基于稀疏点表示的多类时序动作检测框架,通过动态交互和解码模块,实现了多类别并发动作实例的并行解译。

基于掩码和重建的视频自监督预训练范式

目前最先进的视觉自注意力模型 (Vision Transformer)通常需要先在超大规模的图像或视频数据集上进行预训练, 才能在相对较小的数据集上展示出卓越的性能。在这个工作中,我们利用掩码式自监督预训练的方式对Vision Transformer进行预训练。我们设计了一种带有极高掩码比率的管道式掩码策略,并且提出了视频掩码自编码器(VideoMAE),释放Vision Transformer在视频理解相关任务上的强大表征能力。

Talk大纲如下:

  • 问题引入

  • 目前领域存在的问题

  • 方法:视频掩码自编码器

  • 实验:消融实验与结果

  • 可视化分析

  • 总结

基于可学习查询点的多类别时序动作检测框架

经典时序动作检测任务往往局限于同一个视频中只包含单一类别、不重叠动作的理想情况。但在现实场景中,不同类别的动作常常同时发生。因此,我们关注多类别场景下的时序动作检测,旨在检测多类别视频中所有的动作。该任务具有着细粒度动作识别和并发动作的精细定位两大挑战。为了应对这些挑战,我们在NeurIPS2022提出PointTAD,可以灵活地基于一组可学习的查询点同时定位动作边界帧和关键帧,构建精细动作表征。

Talk大纲如下:

  • 问题引入:时序动作检测是什么?为什么要研究多类别场景下的时序动作检测?

  • 相关工作及存在的问题

  • 方法:查询点的核心思想、PointTAD模型总览、动作查询量的更新流程、可学习查询点与多层次交互模块的具体设计

  • 实验:消融实验与结果

  • 可视化分析

  • 总结

Talk·预习资料

  • paper: https://arxiv.org/abs/2203.12602

  • code: https://github.com/MCG-NJU/VideoMAE

  • paper: https://arxiv.org/abs/2210.11035

  • code: https://github.com/MCG-NJU/PointTAD

Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call和问题,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍

童湛

腾讯AI Lab研究员

童湛,腾讯AI Lab研究员,硕士毕业于南京大学计算机科学与技术系,导师为王利民。主要研究方向包含计算机视觉、深度学习、视频理解、视频自监督表征学习等。

谈婧

南京大学计算机科学与技术系硕士研究生

谈婧,南京大学计算机科学与技术系硕士研究生,导师为王利民教授,本科毕业于南京大学匡亚明学院计算机方向,未来前往香港中文大学MMLab攻读博士。硕士期间在计算机视觉和机器学习顶会ICCV和NeurIPS上作为第一作者发表两篇工作。主要研究方向包含计算机视觉、深度学习、视频理解、时序动作检测。

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择!

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>

⤵一键送你进入Talk页面

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国总统特朗普抵达深圳

美国总统特朗普抵达深圳

界面新闻
2026-11-18 16:42:19
痛心!38岁江苏美女教师梁娇去世,丈夫去世不到百天,女儿才7岁

痛心!38岁江苏美女教师梁娇去世,丈夫去世不到百天,女儿才7岁

云舟史策
2025-06-23 09:35:09
浑水宣布做空英伟达

浑水宣布做空英伟达

界面新闻
2026-11-18 11:36:52
马克龙在吉隆坡语出惊人:各国要么沦为中国的附庸,要么沦为美国的附庸

马克龙在吉隆坡语出惊人:各国要么沦为中国的附庸,要么沦为美国的附庸

起点财经
2026-11-18 14:00:14
“立肛高见”又一次让国产大模型瑟瑟发抖

“立肛高见”又一次让国产大模型瑟瑟发抖

问道求真
2026-11-18 07:08:33
宁波:高速堵满了集卡,夜市却空了一半

宁波:高速堵满了集卡,夜市却空了一半

茶狐看世界本尊
2026-11-18 13:25:44
全球化退潮,APEC如何寻找新定位?

全球化退潮,APEC如何寻找新定位?

凤凰WEEKLY
2026-11-18 14:59:22
兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

大风新闻
2026-11-18 14:36:05
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

磊子讲史
2026-11-18 14:30:02
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
首次访华就想给下马威?中方二话不说撤走仪仗队:想好了再来

首次访华就想给下马威?中方二话不说撤走仪仗队:想好了再来

一姐说军史
2026-06-29 15:10:55
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
离谱到家!绵阳 1600 元烤全羊端上桌,游客拿放大镜找,几乎找不到肉

离谱到家!绵阳 1600 元烤全羊端上桌,游客拿放大镜找,几乎找不到肉

川渝视觉
2026-11-18 11:00:51
突发!黄仁勋黄乐最新消息曝光,大开眼界!

突发!黄仁勋黄乐最新消息曝光,大开眼界!

财经要参
2026-11-18 12:00:05
英伟达临时CEO证实:H200正式退出对华销售

英伟达临时CEO证实:H200正式退出对华销售

快科技
2026-11-18 11:37:03
纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

果妈聊娱乐
2026-11-17 11:39:05
祖籍广东的泰国总理阿努廷回到家乡格外兴奋,大飙粤语:猴开森

祖籍广东的泰国总理阿努廷回到家乡格外兴奋,大飙粤语:猴开森

极目新闻
2026-11-18 16:37:00
蔚来向公安机关报案

蔚来向公安机关报案

极目新闻
2026-11-17 14:00:24
泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

看看新闻Knews
2026-11-18 17:20:13
2026-11-18 18:11:00
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2544文章数 597关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

头条要闻

特朗普抵达深圳出席APEC会议 年内第二次访华

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
手机
艺术
游戏
公开课

亲子要闻

潮州月子中心里新时代母婴会所的服务比别家好吗?

手机要闻

苹果折叠屏陷入两难 博主:iPhone Duo 2外屏上Face ID 体验会很割裂

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

《八部宽的个人主页》开放愿望单,计划2027年春季发售

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版