SIGS优硕风采 | 刘沛东：面向视频目标检测和跟踪的算法加速研究

编者按

2022年，清华大学深圳国际研究生院共有52篇论文荣获清华大学优秀硕士学位论文，其中29篇为我院专职教师指导。本系列推送将展示我院获奖同学的科研成果风采。

论文中文标题：面向视频目标检测和跟踪的算法加速研究

论文英文标题: Research on Algorithm Acceleration for Video Object Detection and Tracking

作 者：刘沛东

指导教师：江勇

培养院系：深圳国际研究生院

学 科：计算机技术

学习感言：

研究生阶段，我们接触的研究方向很多，一旦确定研究课题，最好能够善始善终，中途不要轻易更换研究方向，否则花费大量时间却不能在某个方向有所深入。

获得荣誉：

2021年清华大学硕士研究生国家奖学金；2022年清华大学优秀硕士毕业生；2022年清华大学优秀硕士学位论文；2022年清华大学计算机科学与技术系优秀毕业生

研究背景/选题意义/研究价值

视觉跟踪和视频目标检测是重要的高级视频理解任务，受到广泛研究。在视觉跟踪领域，越来越多复杂的深度跟踪器涌现，虽然这些方法鲁棒性较好，但由于推理速度较慢，它们在实际应用中的效率受到影响。在视频目标检测领域，自动化机器学习算法能获得更好的损失函数，从而提升目标检测器的精度，但现有的进化搜索算法效率较低。我希望能够将硕士研究成果落地到实际的应用中，解决工业界的痛点难点。企业实习的经历让我意识到深度学习模型在实际部署中存在延迟问题，严重的情况下甚至会影响应用效果。针对这一挑战，我对视觉跟踪和视频目标检测两个任务开展研究，论文提出了有针对性的算法加速方案。

主要研究内容

论文提出的DFCNet网络架构和具体流程如图1所示。由于相邻视频帧的信息相差不大，存在很多重复内容，因此可以通过光流来表征视频帧的时序信息，从而减少计算冗余。为了加速深度跟踪器的推理过程，DFCNet将深度跟踪器 MDNet和深度光流模型 FlowNet2进行结合，仅对关键帧运行特征提取器，而其他非关键帧则通过FlowNet2计算相邻帧的像素位移信息进行迁移。DFCNet通过关键帧调度机制，即网络的动态跟踪效果来确定当前帧是否为关键帧。若为关键帧，则先通过运动模型生成大量候选框，对所有候选框经过复杂的特征提取器和观察模型，从而获得当前帧的最终预测结果；如果不是关键帧，直接将前后两帧通过FlowNet2，预测相邻帧像素点的运动位移情况，从而获得当前帧的目标位置预测。

图1.DFCNet 网络结构示意图

论文还提出了一种基于渐进式收敛-模拟模块的自动化搜索框架 CSE-Autoloss。CSE-Autoloss首先通过精心设计的搜索空间来组装数学公式生成大量候选损失函数。然后，CSE-Autoloss通过收敛-模拟模块来加速，包括两个子模块：（1）收敛性质验证模块用于评估候选损失函数的数学特性；（2）模型优化模拟模块用于评估候选损失函数在实际数据中的优化质量，进一步去除大量训练发散、训练不友好和优化性能差的损失函数。最后，CSE-Autoloss在代理任务上评估剩下的选损失函数，并挑出表现最好的 个候选者作为父代，通过杂交变异的方式进一步繁衍出子代。CSE-Autoloss与普通进化算法相比，搜索过程实现了近 20 倍的加速。

图2.CSE-Autoloss框架示意图

论文主要创新点

1、针对视觉跟踪任务，论文将深度光流模型和深度视觉跟踪模型结合，并提出有效的关键帧调度机制，根据网络输出结果动态确定关键帧。论文的跟踪算法仅将关键帧经过复杂的深度跟踪器，非关键帧则通过光流迁移获得跟踪结果。光流迁移比复杂深度跟踪器提取特征的速度快得多，从而实现加速。公开数据集的实验证明论文提出的跟踪器能在保持精度跟基线模型持平甚至更好的情况下，将网络推理速度提升近三分之二，并且跟踪器在光照变化、背景杂乱等挑战中明显优于基线模型。

2、针对视频目标检测任务，论文提出基于渐进式收敛-模拟模块的损失函数自动化搜索框架，包括收敛性质验证模块和模型优化模拟模块。收敛性质验证模块主要评估候选损失函数的数学性质。模型优化模拟模块通过构建一个小型数据集用于评估候选损失函数在实际场景的优化性能。大量实验表明该框架搜索到最好的损失函数性能与传统进化算法相当，但搜索速度加速了近 20 倍。

学位论文相关学术成果

[1] Liu P, Zhang G, Wang B, Xu H, Liang X, Jiang Y, Li Z. Loss function discovery for object detection via convergence-simulation driven search[C]//2021 International Conference on Learning Representations (ICLR). 2021.

[2] Liu P, Yan X, Jiang Y, Xia S. Deep flow collaborative network for online visual tracking[C]//2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020: 2598-2602.

心得体会

硕士研究生三年是沉浸在科研的、充实的时光。我涉猎了计算机视觉的不同子方向，在经历一次次失败的尝试之后，终有一些胜利的果实。每一次中稿的消息传来，都更加坚定我不断持续科研、拓展知识边界的决心。研究生在读期间，我以第一作者（含共同一作）身份共发表了3篇清华大学计算机系推荐A类会议论文和2篇B类会议论文。我相信，在清华做学术的三年只是一个起点，我将保持初心，把我在清华学到的科研精神和方法传承下去。希望自己未来能够做出更多有价值、有创造力的研究，推动计算机视觉领域进步。

来源|培养与学位办

文/图|刘沛东

编辑|黄萧嘉

审核|林洲璐

排版|罗旋

中文微信公众号：清华大学深圳国际研究生院

英文微信公众号：Tsinghua SIGS

新浪微博：@清华SIGS