全景分割新标杆—Panoptic SegFormer

△「ICCV2021 群星闪耀·围炉夜话」 活动持续报名中 △

前一段时间的MaskFormer提出可以将分割任务看成是mask预测任务，Panoptic SegFormer可以认为是在MaskFormer的基础上进行改进的。

相比于MaskFormer主要有3两点改进：

1. backbone部分采用PVTv2，并且同时使用backbone的多尺度feature

2. 引入了location decoder，通过辅助的位置预测loss加快收敛

3. 提出mask-wise merge的策略来合并things和stuff

一、Overall architecture

Panoptic SegFormer整体框架如图所示。

先通过backbone抽取多尺度feature，然后送入transformer encoder编码，最后通过location decoder和mask decoder解码。训练阶段，先进行双边匹配得到每个query对应的label，location decoder输出预测位置和尺寸，mask decoder输出预测mask和类别；推理阶段，用mask-wise merge策略对预测结果去重。

下面详细讲一下location decoder、mask decoder和mask-wise merge部分。

Location Decoder

给定N个初始化queries，训练阶段，在location decoder后面添加一个辅助MLP来预测位置和尺寸，location decoder的输出称为location-aware queries；推理阶段，去除辅助MLP。这一个辅助loss，可以帮助网络快速收敛，每个query关注区域指向性更明确。

Mask Decoder

mask decoder将location decoder的输出location-wise queries当作query，和MaskFormer预测mask和类别不同的是，Panoptic SegFormer预测mask需要先将attention map拆分成A3，A4，A5，然后都上采样到H/8xW/8的分辨率，concat在一起得到A_fuse，最后通过1x1卷积得到mask预测结果。

Mask-Wise Merge

之前的分割去重，一般都是使用pixel-wise argmax策略，也就是重叠部分保留预测分数最大的类别。本文提出的mask-wise merge策略，对于重叠部分进行舍弃，上图是伪代码。

二、实验结果

从上表可以看出，Panoptic SegFormer比之前的算法收敛速度更快，效果更好。

可视化对比，Panoptic SegFormer预测结果更加sharp，并且由于mask-wise merge策略，实例之间的边缘更加清晰。

三、总结

之前的全景分割算法如Panoptic FCN和Panoptic-DeepLab都引入了位置辅助预测，在MaskFormer中引入位置预测是很自然的，这有利于query快速关注到合适的位置，帮助模型更好的收敛。

Panoptic SegFormer用了更好的backbone(并且增加了多尺度特征)，更好的位置先验，更好的后处理，Panoptic SegFormer做的相当完整了，全景分割想再进一步提升感觉非常困难了。

Reference

[1] Panoptic SegFormer

Illustrastion by Maria Shukshina from Icons8

-The End-

怀念不如相见！

10.16晚18:00，

将门TechBeat将在上海与大家一起围炉夜话，

ICCV线上线下嘉宾连线交流，分享AI道路上的经验贴~

扫描下方二维码，即刻索票

还不知道本次活动详情？

扫码观看！

本周上新！

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈