网易首页 > 网易号 > 正文 申请入驻

霸榜多个CV任务,开源仅两天,微软分层ViT模型收获近2k star

0
分享至

  机器之心报道

  编辑:维度

  

屠榜各大 CV 任务的微软 Swin Transformer,近日开源了代码和预训练模型。

  自 2017 年 6 月谷歌提出 Transformer 以来,它便逐渐成为了自然语言处理领域的主流模型。最近一段时间,Transformer 更是开启了自己的跨界之旅,开始在计算机视觉领域大展身手,涌现出了多个基于 Transformer 的新模型,如谷歌用于图像分类的 ViT 以及复旦、牛津、腾讯等机构的 SETR 等。由此,「Transformer 是万能的吗?」也一度成为机器学习社区的热门话题。

  不久前,微软亚研的研究者提出了一种通过移动窗口(shifted windows)计算的分层视觉 Transformer,他们称之为 Swin Transformer。相比之前的 ViT 模型,Swin Transformer 做出了以下两点改进:其一,引入 CNN 中常用的层次化构建方式构建分层 Transformer;其二,引入局部性(locality)思想,对无重合的窗口区域内进行自注意力计算。

  论文链接:
https://arxiv.org/pdf/2103.14030.pdf

  首先来看 Swin Transformer 的整体工作流,下图 3a 为 Swin Transformer 的整体架构,图 3b 为两个连续的 Swin Transformer 块。

  

  该研究的亮点在于利用移动窗口对分层 Transformer 的表征进行计算。通过将自注意力计算限制在不重叠的局部串口,同时允许跨窗口连接。这种分层结构可以灵活地在不同尺度上建模,并具有图像大小的线性计算复杂度。下图 2 为在 Swin Transformer 架构中利用移动窗口计算自注意力的工作流:

  

  模型本身具有的特性使其在一系列视觉任务上都实现了颇具竞争力的性能表现。其中,在 ImageNet-1K 数据集上实现了 86.4% 的图像分类准确率、在 COCO test-dev 数据集上实现了 58.7% 的目标检测 box AP 和 51.1% 的 mask AP。目前,在 COCO minival 和 COCO test-dev 两个数据集上,Swin-L(Swin Transformer 的变体)在目标检测和实例分割任务中均实现了 SOTA。

  

  此外,在 ADE20K val 和 ADE20K 数据集上,Swin-L 也在语义分割任务中实现了 SOTA。

  开源代码和预训练模型

  Swin Transformer 论文公开没多久之后,微软官方于近日在 GitHub 上开源了代码和预训练模型,涵盖图像分类、目标检测以及语义分割任务。上线仅仅两天,该项目已收获 1900 星。

  

  项目地址:
https://github.com/microsoft/Swin-Transformer

  首先图像分类任务,Swin-T、Swin-S、Swin-B 和 Swin-L 变体模型在 ImageNet-1K 和 ImageNet-22K 数据集上的准确率结果如下:

  

  其次目标检测任务:Swin-T、Swin-S、Swin-B 和 Swin-L 变体模型在 COCO 目标检测(2017 val)数据集上的结果如下:

  

  最后语义分割任务:Swin-T、Swin-S、Swin-B 和 Swin-L 变体模型在 ADE20K 语义分割(val)数据集上的结果如下。目前,Swin-L 取得了 53.50% 的 SOTA 验证 mIoU 分数。

  

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

“中国统一”炸锅全球,美国政坛一夜逆转,拜登这下麻烦大了

娱乐放映厅
2021-05-07 10:00:57

美国女驯兽师和5吨重虎鲸相爱16年,却被拖下水淹死咬得稀烂

全球每日趣闻
2021-05-06 11:11:06

终于被国人捧红!号称“陆地游艇”,宽2米配355马力,关键喝92号粗粮

文化长河论
2021-05-07 09:15:23

2021年7位艺人英年早逝,最年轻才23岁,癌症猝死是两大罪魁祸首

独家影视
2021-05-06 15:02:57

跟肿瘤一样的医疗垃圾,却被很多人当成餐桌补品

丁香医生
2021-05-06 13:47:44

已失业7个月!前恒大天王无球可踢

广州未赢够
2021-05-06 20:41:13

石楠花散发出羞耻的腥臭味,令人脸红,为什么在大街上随处可见?

钟铭聊科学
2021-05-06 11:55:40

中国是否应该重新树立五京:东京、南京、西京、北京、中京

甬说
2021-05-06 20:39:45

魅力风景如画

杂事妙谈
2021-05-06 21:38:40

连拉10个涨停,劝不住?!刚刚,公司紧急宣布停牌了

中国基金报
2021-05-07 08:59:13

单节20分!库兹马爆发,浓眉孤立无援,波普罕见隔扣,庄神很迷茫

篮球宿命
2021-05-07 10:48:39

最新消息!4名失联杂技学生中的2人已经找到

山东商报
2021-05-07 08:52:04

马斯克的刹车终于不失灵了!星舰第五飞今晨刹住车,完美着陆

徐德文科学频道
2021-05-07 09:45:38

印度73岁父亲感染新冠去世,火化时小女儿突然跳入火堆

环球网资讯
2021-05-06 12:53:06

保“房价”或保“实体经济”?国家已做出选择,终于下“重手”了

钱包那些事儿
2021-05-07 05:33:40

里程碑!IBM宣布造出全球首颗2nm EUV芯片

快科技
2021-05-06 18:43:07

哈里梅根夫妇向辉瑞等5家疫苗公司CEO发出公开信 呼吁“暂停”知识产权

上游新闻
2021-05-07 10:45:25

终于大义灭亲!澳政党火力全开,揭发己方对华诡计,中方罕见赞赏

前沿时刻
2021-05-06 11:27:48

印度开始谋杀新冠患者?暗中给氧气瓶做手脚,法院:形同种族灭绝

海空视界
2021-05-06 15:45:50

纽约时报:实在是太鲁莽了!

环球时报国际
2021-05-07 00:23:14
2021-05-07 12:57:08
机器之心Pro
机器之心Pro
专业的人工智能媒体
5907文章数 122617关注度
往期回顾 全部

科技要闻

盖茨离婚细节曝光:家人几乎都站梅琳达

头条要闻

中纪委曝光开发乱象:滇池"腰"没了 插树枝冒充植树

头条要闻

中纪委曝光开发乱象:滇池"腰"没了 插树枝冒充植树

体育要闻

埃梅里淘汰枪手创历史 黄潜疯狂庆祝

娱乐要闻

阿娇未修图曝光 面部圆润大象腿明显

财经要闻

汽车要闻

不只有SUV车型 WEY品牌将发布轿车/MPV等

态度原创

教育
亲子
健康
时尚
军事航空

教育要闻

明星科学家由于伪造数据 被Lancet等撤稿11篇文章

亲子要闻

打屁股还能让孩子变笨?家长为难了……

减重手术能治疗糖尿病?

在韩出道3年的流量女星,回国会更好吗?

军事要闻

罕见美军B2轰炸机腹部照:弹仓修补多次