北京
本期为TechBeat人工智能社区第698期线上Talk。
北京时间7月9日(周三)20:00，法国国家信息自动化研究所博士生康祉祺的Talk将准时在TechBeat人工智能社区开播！
他与大家分享的主题是:“MISA - 如何又好又快地让模型持续学习到复杂的新知识”，届时他将分享MISA 方法：一方面利用预训练数据增强 prompt 参数的初始化质量与泛化能力；另一方面引入一个简单而有效的掩码机制，缓解分类头的遗忘问题，从而显著提升模型在该场景下的整体表现。
Talk·信息
主题：MISA - 如何又好又快地让模型持续学习到复杂的新知识
嘉宾：法国国家信息自动化研究所 · 博士生 - 康祉祺
时间：北京时间7月9日(周三)20:00
地点：TechBeat人工智能社区
http://www.techbeat.net/
Talk·介绍
我们着眼于解决通用持续学习的场景，目标是让模型能够在线适应动态变化的数据分布，实现知识的快速更新与扩展。这一场景同时带来了初始化、泛化性和遗忘控制等多重挑战，使现有方法难以有效应对。
基于对 prompt-based 方法的深入分析，我们提出了 MISA 方法：一方面利用预训练数据增强 prompt 参数的初始化质量与泛化能力；另一方面引入一个简单而有效的掩码机制，缓解分类头的遗忘问题，从而显著提升模型在该场景下的整体表现。
实验结果表明，MISA 方法不仅在多个基准数据集上取得优异效果，还能灵活迁移并增强现有方法，为持续学习中的分布变化与遗忘问题提供了新的解决思路。
Talk大纲
1. 背景：什么是持续学习？什么是通用持续学习？持续学习里的经典方法有哪些？什么是Prompt-based方法？
2. 动机与问题：通用持续学习带来的复杂挑战：初始化、泛化性、遗忘的复合问题，使得现有方法始终表现不佳。
3. 解决方法：提出针对性的设计，通过使用预训练数据来有效提升prompt参数的初始化和泛化能力，以及一个简单有效的掩码降低模型分类头的遗忘
4. 总结：预训练阶段也是持续学习的一个阶段，我们希望能在这里挖掘更多潜能来提升模型持续学习的能力
Talk·预习资料
论文链接： https://arxiv.org/abs/2106.01548
论文链接： https://arxiv.org/abs/2003.13947
论文链接： https://arxiv.org/abs/2006.06958
论文链接： https://arxiv.org/abs/2104.05025
论文链接： https://arxiv.org/abs/2104.07446
论文链接： https://arxiv.org/abs/2308.09303
论文链接： https://arxiv.org/abs/2208.09734
Talk·提问交流
在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！
你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！
Talk·嘉宾介绍
康祉祺
法国国家信息自动化研究所 · 博士生
康祉祺，目前是法国国家信息自动化研究所 (Inria) 的博士生。他的研究重点是视觉以及多模态模型的知识增长和持续学习。他在ICCV, IJCV, ICLR, ICASSP上以第一作者身份发表多篇文章，其中2023年提出的NNCSL方法被评为ICCV oral presentation。他曾在meta，Toyota Motor Europe等公司有过实习、工作经历。
个人主页: https://www.techbeat.net/grzytrkj?id=45167
-The End-
如果你也想成为讲者
自荐 / 推荐
单人Talk | 团队专场 | 录播or直播 | 闭门交流
多种方式任你选择！
推荐讲者成功也有奖励哦~
关于TechBeat人工智能社区
TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！
更多详细介绍>>
预约本期Talk
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
