Talk预告 | 香港中文大学龚施展：一种提升CLIP视觉可解释性的对抗精调方法

本期为TechBeat人工智能社区第695期线上Talk。

北京时间6月26日(周四)20:00，香港中文大学博士生龚施展的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是:“一种提升CLIP视觉可解释性的对抗精调方法”，届时他将介绍一种无监督对抗性微调（AFT）方法，通过范数正则化显著增强了CLIP的视觉可解释性。

Talk·信息

主题：一种提升CLIP视觉可解释性的对抗精调方法

嘉宾：香港中文大学 · 博士生 - 龚施展

时间：北京时间6月26日(周四)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

在当今多模态模型快速发展的背景下，CLIP作为一种视觉表征学习的关键技术，在许多大规模模型（如LLaVA）中扮演了重要角色。然而，其复杂的图像编码器架构和训练过程导致的可解释性不足，限制了其在高风险决策应用中的广泛使用。在我的研究中，我们提出了无监督对抗性微调（AFT）方法，通过范数正则化显著增强了CLIP的视觉可解释性。理论分析表明，AFT能够通过隐式正则化使图像编码器专注于稀疏而有意义的特征。实验结果表明，该方法不仅提升了CLIP的可解释性，还能推广至分布外数据和下游任务，展示了广泛的适用性和潜力。

Talk大纲

1. 背景：CLIP模型在很多任务上取得了较好的表现

2. 动机与问题：现有的CLIP模型缺乏可解释性，已有的可解释性方法不能很好迁移到下游任务

3. 解决方法：提出一种对抗精调框架，使得精调后的CLIP模型更具有视觉可解释性

4. 总结：讨论一些潜在的扩展

Talk·预习资料

论文链接： https://openreview.net/forum?id=khuIvzxPRp 代码链接： https://github.com/peterant330/CLIP_AFT

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

龚施展‍‍‍‍‍‍‍‍‍‍‍

香港中文大学 · 博士生‍‍‍

龚施展，目前是香港中文大学的在读博士生。主要研究方向为多模态学习，可信人工智能和医学影像分析。目前已经在ICML、ICLR、CVPR、TMI等会议和期刊上发表多篇论文。

个人主页: https://www.techbeat.net/grzytrkj?id=45068 ‍‍‍‍

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk