Talk预告 | ICLR'23 北京大学田柯宇：卷积网络上的首个BERT/MAE预训练，ResNet也能用

本期为TechBeat人工智能社区第482期线上Talk ！

北京时间3月16日(周四)20:00，北京大学前沿交叉学院研究生——田柯宇的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是:“SparK：如何在卷积网络上做成功BERT/MAE预训练？ ”， 届时 将 分享 由北大、字节、牛津合作 的ICLR Spotlight文章，于去年10月公开，提出了 SparK，这是自 2016 inpainting-based 自监督工作出现以来，首次在卷积模型上做成功的 BERT/MAE 形式的自监督预训练。

Talk·信息

主题：SparK：如何在卷积网络上做成功BERT/MAE预训练？

嘉 宾：北京大学前沿交叉学院研究生 田柯宇

时间：北京时间3月16日 (周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

复刻 NLP 领域BERT/GPT的成功，乃至引领一套视觉预训练-微调的范式，是当下计算机视觉领域的一大时代愿景。目前已有工作例如 BEiT/MAE 验证了 BERT/Masked Modeling 预训练算法可以很自然地从 NLP Transformer 迁移到 Vision Transformer，但如何再迁移到卷积网络 CNN上，仍是一个未解难题。

本篇 ICLR Spotlight 工作做了初步尝试 (由北大、字节、牛津合作)，于去年10月公开，提出了 SparK，这是自 2016 inpainting-based 自监督工作出现以来，首次在卷积模型上做成功的BERT/MAE形式的自监督预训练。SparK 适用于包括 ResNet 在内的任何 CNN 模型，无需对模型进行任何改动即可直接预训练。在下游分类、检测、分割任务上，SparK 让 CNN 的性能实现跨模型尺寸级别的提升，并显著超过对比学习、超过 Swin-Transformer，初步展现了 BERT/MAE 在卷积网络上的巨大潜力。

Talk大纲：

• 【时代背景】：NLP 与 CV 领域中 Masked Modeling 的发展（inpainting SSL、BERT、MAE）

• 【动机与问题】：Language data 和 Vision data、Transformer 和 CNN 有哪些本质差异？如何导致了 BERT/MAE 不适应于 CNN？如果在 CNN 上粗暴使用 Kaiming 的 MAE 预训练会有什么问题？

• 【解决方案】：介绍 SparK (Sparse and hierarchical masKed modeling) 算法、实验结果、可视化结果

• 【讨论总结】：讨论一些FAQ，例如和 MAE/ConvNextV2 的关系、一些实验细节，并总结工作

• 【附加部分：开源介绍】：简要分享 github 上开源代码的解读、如何一键加载预训练权重等

Talk·预习资料

开源代码（含可视化推理、一键加载预训练模型权重）：

https://github.com/keyu-tian/SparK

论文原文：

https://arxiv.org/abs/2301.03580

Demo 视频：

https://www.youtube.com/watch?v=-IWyQ2hAoBw

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

田柯宇

北京大学前沿交叉学院研究生

田柯宇，北京大学研究生（师从王立威教授），研究兴趣为深度学习的优化与算法，自 2019 年起在商汤/字节跳动实习研究，具体包括超参数优化、强化学习算法、自监督的新型算法，在 NeurIPS, ICLR 等会议发表多篇一作论文，并多次担任 NeurIPS, ICML, ICLR, CVPR, ICCV 等会议审稿人。

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

⤵一键送你进入Talk页面