SIGS优硕风采 | 张斌杰：兼容表征学习在大规模图像检索与视频交互中的应用研究

编者按

2022年，清华大学深圳国际研究生院共有52篇论文荣获清华大学优秀硕士学位论文，其中29篇为我院专职教师指导。本系列推送将展示我院获奖同学的科研成果风采。

论文中文标题：兼容表征学习在大规模图像检索与视频交互中的应用研究

论文英文标题: Compatible Representation Learning in Large-Scale Image Retrieval and Video Interaction

作 者：张斌杰

指导教师：袁春

学 科：计算机科学与技术

学习感言：清华教会了我自强不息，从一次次投稿失败经历中总结经验，越战越勇；也让“争取至少为祖国健康工作五十年”的口号深入我的骨髓，保持健身的好习惯，培养良好的兴趣爱好，让科研实现可持续发展。

获得荣誉：2022年清华大学优秀硕士学位论文

研究背景/选题意义/研究价值

二十一世纪是信息化的时代，从股市指数到商品价格，从微博热搜到朋友圈动态，海量且多元的数据通过互联网这个载体进行迅速地传递。构建数据的特征表达、挖掘多元数据间的关系是计算机学科研究的主要内容之一。随着深度学习技术不断发展，一些结构化数据（例如图片、文本等）能够被很好地解析而落实到许多实际应用中，例如不同语种之间的自动翻译系统、人脸识别系统、图像检索系统。然而，为了提升系统性能以及改善用户体验，数据特征在升级过程中数据量过于庞大，会导致耗时较久，严重影响系统迭代速度。此外，考虑到数据的多元化，不同模态之间的特征表达（例如图片与文本）有所不同，如何实现多模态数据之间的检索也吸引了越来越多学者的关注。

为了实现模型的高效升级以及多模态数据的融合，兼容表征学习这一新的理念应运而生。兼容表征学习旨在确保不同特征空间之间具有直接可比性，这里不仅包括不同模型之间的兼容性（例如实现图片检索系统的模型升级），也包括不同模态之间的兼容性（例如实现基于文本的跨模态时序定位）。研究更加有效且高效的兼容训练算法、提升模型更新的速度与效率，对于推动人工智能在工业界的实际应用有着重要的作用。

图1.传统模型升级与基于兼容表征学习的模型升级方法对比图

主要研究内容

兼容表征学习旨在实现不同特征空间之间的直接可比性，具体包括：（1）不同模型间的兼容学习（如基于兼容表征学习的图像检索系统模型升级），体现计算机与工业界的跨界融合。一般而言，当模型进行升级时，检索系统需要使用新模型对候选图片库中所有图片特征进行重新编码。考虑到工业界中数以亿计的图像，实际更新过程可能持续数月之久。本文以基于兼容表征学习的检索模型升级为主要研究课题，解决升级过程中存在的问题并提升模型升级效率。

图2.检索模型升级示意图

（2）不同模态间的兼容学习（如基于跨模态时序定位的视频交互技术），可将计算机技术赋能包括STEAM教育在内的视频推荐服务。跨模态时序定位在视频交互中有着重要应用，可以借助文本、图片等多种模态信息帮助用户定位到感兴趣的内容，实现智能化、千人千面的视频推荐与搜索功能。

图3.跨模态时序定位示意图

论文主要创新点

1、针对传统模型升级过程中长周期、高成本问题，本文提出了一种全新的热刷新式模型训练范式。此外，为了解决热刷新过程中存在的模型退化这一新问题，本文提出一种基于退化缓解的兼容训练算法和基于不确定性度量的特征回填算法。该方法发表于计算机领域国际会议ICLR 2022。

2、针对现有兼容表征学习的工作局限在闭合域场景的不足，本文提出包括类原型合成以及结构化类原型优化算法在内的通用兼容训练算法，以统一的框架解决闭合域及开放域内的兼容训练场景。该方法发表于计算机领域国际会议IJCAI 2022。

3、针对隐私保护模型升级中原始候选图片库无法获取的难题，本文提出了一种双向兼容训练框架，该框架首先通过后向兼容学习改善查询图片特征的新模型，然后通过前向兼容学习更新旧的候选图片库特征的升级模块。

4、针对跨模态视频时序定位中的语义差异问题，本文提出了级联型跨模态对齐网络，将文本和视频的全局与局部特征进行交替融合，同时引入两个语义对齐损失来显式约束文本与视频的语义空间。

学位论文相关学术成果

[1] Zhang Binjie, Ge Yixiao, Shen Yantao, Li Yu, Yuan Chun, et al.: Hot-Refresh Model Upgrades with Regression-Free Compatible Training in Image Retrieval. International Conference on Learning Representations. 2021.

[2] Zhang Binjie, Ge Yixiao, Shen Yantao, et al.: Towards Universal Backward-Compatible Representation Learning. IJCAI. 2022.

论文主要创新点

我们不停地向外探求，更不断地向内探索 。 新冠疫情发生至今，已是第三个年头。 在这样一个特殊时空下，我感恩生在主旋律是和平的时代和国度，感谢清华见证了我的成长，感谢袁春教授在科研和生活上对学生的关怀帮助，感谢腾讯实习期间遇到的mentor们（葛艺潇、沈岩涛以及李昱博士），也非常感谢一路同行的同学与挚友，这段记忆将在我人生的河流中永远闪光。

来源|培养与学位办

素材提供|张斌杰

编辑|黄萧嘉

审核|林洲璐

排版|郭长青

中文微信公众号：清华大学深圳国际研究生院

英文微信公众号：Tsinghua SIGS

新浪微博：@清华SIGS