网易首页 > 网易号 > 正文 申请入驻

注入Attention,精度涨30%!谷歌发表最新多目标“动态抠图”模型

0
分享至

只需第一帧图像+边界提示,就能将视频中各物体“抠”出来并进行轨迹跟踪



以上就是谷歌的最新研究成果。


该方法通过在视频中引入注意力机制,成功地解决此前采用了无监督学习的多目标分割和跟踪方法的一些不足。

现在的它,不仅可以泛化到更多样、视觉上更复杂的视频中,还能处理更长的视频序列。

通过实验还发现,相比此前的模型,谷歌这个新方法在MOVi数据集上的mIoU直接提高了近30%

为“动态抠图”引入注意力机制

方法被命名为SAVi(Slot Attention for Video)。

而此前的无监督目标分割和跟踪方法最大的问题,就是只能应用到非常简单的视频上。

为了处理视觉效果更复杂的视频,SAVi采用弱监督学习

(1)以光流(optical flow)预测为训练目标,并引入注意力机制;

(2)在第一帧图像上给出初始提示(一般是框出待分割物体,或者给出物体上单个点的坐标),进行分割指导。

具体来说,受到常微分方程的“预测-校正器”方法的启发,SAVi对每个可见的视频帧执行预测和校正步骤。

为了描述视频物体随时间变化的状态,包括与其它物体的交互,SAVi在进行光流预测时在slot之间使用自注意力

slot就是指视频中各物体,用不同颜色区分。


校正阶段,带有输入的slot-normalized交叉注意用于校正(更新)slot表示集。

然后预测器的输出根据时间来初始化矫正器,使模型最终能够以一致的方式随时间跟踪物体。


△ SAVi模型架构图

在训练中,每个视频被分成六个6帧子序列,第一帧接收提示信号,每帧两轮slot注意力。

在完全无监督视频分割中,研究人员以64的batch size训练了十万步。

没有提示,也能进行简单视频的分割和跟踪

在CATER数据集上,测试表明,SAVi架构完全适用于无监督的物体学习。


在光流条件监督的情况下,SAVi在MOVi数据集上获得72.1%的mIoU,比基线模型CRW和T-VOS分别高了近30%和近20%


SAVi在MOVi++数据集上的mIoU得分为45.9%,比T-VOS略高一点,比CRW低了5%。

另外,还可以看到,在第一帧图像上给出质心形式的提示效果会比边界框好一点,但区别不大。

值得注意的是,即使没有任何提示,该方法也能分割一些具有简单纹理的动态场景,比如在数据集Sketchy上。


不过,在将SAVi完全用于现实世界里的复杂视频时,还有一些挑战需要克服:

1、所采用的训练方法假设在训练时光流信息是可用的,而在真实视频中,这不一样哟;

2、研究中所涉及的都是一些简单物体的基本运动,现实远比这个复杂

最后,作者表示,SAVi在分割和跟踪方面仍然表现出色,在第一帧给出提示信息的做法也可能会衍生出各种相关的半监督方法。

论文地址:
https://arxiv.org/abs.2111.12594

参考链接:
[1]https://slot-attention-video.github.io/(代码即将开源)
[2]https://www.marktechpost.com/2021/11/28/google-research-open-sources-savi-an-object-centric-architecture-that-extends-the-slot-attention-mechanism-to-videos/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
姐姐变得十分风骚,弟弟一回来就爱上了:就算你是姐姐我也要

姐姐变得十分风骚,弟弟一回来就爱上了:就算你是姐姐我也要

浅蓝色的雪
2022-05-19 23:01:34
靠侮辱女性吸引眼球!妇炎洁低俗广告,让我开眼了...

靠侮辱女性吸引眼球!妇炎洁低俗广告,让我开眼了...

广告界
2022-05-19 21:40:42
向太官宣郭碧婷怀二胎儿子,下个月将生产,向太已买珠宝奖励儿媳

向太官宣郭碧婷怀二胎儿子,下个月将生产,向太已买珠宝奖励儿媳

八卦宝宝
2022-05-19 19:25:20
当初那个“儿童版李小龙”变化大?4年过去,过早训练真的有害吗

当初那个“儿童版李小龙”变化大?4年过去,过早训练真的有害吗

体坛新鲜资讯速递
2022-05-20 08:27:26
美女嫁大15岁的丈夫,除了吃饭就是上床,美女:除了这个我图啥?

美女嫁大15岁的丈夫,除了吃饭就是上床,美女:除了这个我图啥?

墨小墨说故事
2022-05-17 09:26:15
女星病逝2年,女儿已知妈妈不在,好友透露其老公现状

女星病逝2年,女儿已知妈妈不在,好友透露其老公现状

长春国贸娱乐
2022-05-19 21:47:38
奇葩!85岁马玉琴在床上养鹅,丈夫拍视频不阻止,网友:不臭吗?

奇葩!85岁马玉琴在床上养鹅,丈夫拍视频不阻止,网友:不臭吗?

小虾米阿康
2022-05-19 21:54:14
青岛房产圈知名大佬出事了

青岛房产圈知名大佬出事了

青岛房师傅
2022-05-19 20:17:07
肯尼亚撕毁中企合同,拒赔176亿违约金,还想退还43亿,后来呢?

肯尼亚撕毁中企合同,拒赔176亿违约金,还想退还43亿,后来呢?

你家小晨晨
2022-05-18 23:05:12
美国国家科学院证实:少吃能延长寿命35%,饥饿会改写衰老基因

美国国家科学院证实:少吃能延长寿命35%,饥饿会改写衰老基因

DrX说
2022-05-19 19:34:58
全家15人一夜全部被杀,被杀的原因让人痛恨,杀人者身份让人惊讶

全家15人一夜全部被杀,被杀的原因让人痛恨,杀人者身份让人惊讶

江君历史君
2022-05-19 14:03:12
沃神透露:切特·霍姆格伦和贾巴里·史密斯正在为争夺状元而战

沃神透露:切特·霍姆格伦和贾巴里·史密斯正在为争夺状元而战

InSneaker鞋报
2022-05-20 06:46:08
德里克-怀特因孩子出生缺席东决G2

德里克-怀特因孩子出生缺席东决G2

OnFire
2022-05-20 01:20:03
破罐破摔?俄考虑退出世贸组织,拉夫罗夫提出俄印中三马车构想

破罐破摔?俄考虑退出世贸组织,拉夫罗夫提出俄印中三马车构想

特种点评狮
2022-05-19 14:50:09
80岁高僧说了:生肖虎的晚年“龙争虎斗”,家有属虎的看看吧

80岁高僧说了:生肖虎的晚年“龙争虎斗”,家有属虎的看看吧

轮回菌
2022-05-19 21:51:14
土耳其后又一国反对!俄乌冲突下北约火线扩员或遇挫

土耳其后又一国反对!俄乌冲突下北约火线扩员或遇挫

第一财经资讯
2022-05-20 03:20:02
至暗时刻!4月经济数据可能是最差一月!

至暗时刻!4月经济数据可能是最差一月!

钢谷网
2022-05-19 20:30:35
老师要求家长群全英文交流,堪比大型“社死现场”,看后笑出鹅叫

老师要求家长群全英文交流,堪比大型“社死现场”,看后笑出鹅叫

鑫欣教育
2022-05-17 17:30:09
马来西亚婆罗洲神秘巨蛇事件,长着龙头体长约达30多米

马来西亚婆罗洲神秘巨蛇事件,长着龙头体长约达30多米

沙雕动物轰趴馆
2022-05-19 15:39:28
官方通报:追回!上缴国库!

官方通报:追回!上缴国库!

四只小鹿
2022-05-19 10:47:53
2022-05-20 10:16:49
量子位
量子位
追踪人工智能动态
6302文章数 148094关注度
往期回顾 全部

科技要闻

腾讯体育大裁员 六大业务组被裁撤

头条要闻

梅德韦杰夫:西方边制裁边要求俄供粮 我们不是白痴

头条要闻

梅德韦杰夫:西方边制裁边要求俄供粮 我们不是白痴

体育要闻

只剩足球的许老板还能逆袭吗?

娱乐要闻

向太官宣郭碧婷二胎怀男孩 并透露预产期在六月

财经要闻

汽车要闻

新款福特探险者或于6月26日公布预售价

态度原创

旅游
艺术
时尚
教育
房产

旅游要闻

泰国斯米兰岛封岛 进入休养生息时间

艺术要闻

图坦卡蒙墓发现百年|关注被遮蔽的埃及人

能把衬衫穿出时髦感的人才是真会穿

教育要闻

复旦教授冯玮:美国是世界的缔造者,而我们是破坏者

房产要闻

南沙枢纽区块有新动态 交通枢纽功能再深化

进入关怀模式