网易首页 > 网易号 > 正文 申请入驻

清华博士用几个小灯泡骗过红外识别,首次让红外检测性能直降34% |AAAI2021

0
分享至


新智元报道

作者:朱小佩

编辑:好困

【新智元导读】众所周知,打印一张图揣身上就能骗过图像识别,那你知道如何才能骗过红外识别么?

在疫情期间,红外行人识别系统被广泛应用。

这得益于热红外识别的系统的两个重要的优势:

1. 对于温度敏感,红外图像的成像利用了物体的热辐射,所以可以反映出物体的温度,这一特性对于人体的非接触式测温具有重要的应用。

2. 红外成像具有一定的「透视」特性,即使人体被一些衣物遮挡,但是热辐射依然可以透过衣物被接收器感知到,所以可以透过遮挡进行成像。


尽管目前红外行人检测系统被广泛使用,但是很少有人去关注该系统的安全隐患。

今年,来自清华大学的研究团队就提出了一项基于小灯泡的物理攻击方法。相关论文发表在AAAI2021会议上(Zhu et al. Fooling Thermal Infrared Pedestrian Detectors in Real World Using Small Bulbs)。相关技术已经申请国家发明专利。

以下就是一个例子,从图中我们看到,持有小灯泡板子的人成功地逃避了检测器的检测,而持有空白板子和不带任何东西的人却被检测器检测到。


研究背景

近年来,对抗样本的研究越来越引起人们的重视。在数字空间中,研究者发现,通过设计特定的噪声,神经网络会以很高的置信度对图像进行了错误的分类,而且这种噪声人眼不易察觉。更进一步地,人们发现对抗样本也可以在现实世界中产生威胁。

例如,一个3D打印的乌龟,当其表面装饰有对抗性的纹理之后,会被神经网络误认为是一个来福枪。对抗样本除了可以干扰分类模型,也可以干扰目标检测模型,例如,一张打印出来的对抗性纸张,可以成功地欺骗目标检测器YOLOv2,使得其检测不到行人。


但目前几乎所有的关于对抗样本的研究都集中在可见光领域。而对于红外领域的研究还处于空白阶段。与可见光的图像(三通道)相比,红外图像只有一个灰度通道,而且红外图像的纹理信息远远少于可见光的信息。

另外,为了实现物理攻击,红外图像不能像可见光图像一样,直接通过激光打印机打印到一张纸上。因此,如何在物理世界中显示特定的图案是一件困难的事情。

研究方法

既然不能用「打印」的方式实现热图像,这时候作者另辟蹊径。可否利用发热物体本身的热图作为基本模块,然后去优化模块的位置。作者于是考察了多种电子元件,包括二极管,电阻等等。

最后发现了一个看似简单却十分好用的器件——小灯泡!因为小灯泡所成的热红外图像十分接近于一个二维高斯函数。

那么这个猜想是否成立呢,作者对小灯泡的红外图像进行了数学分析。

在拍摄了单个灯泡的红外图像之后,尝试用一个二维的高斯函数来建模和拟合。函数拟合后发现,二维高斯函数可以很好地拟合灯泡的红外图像。


有了基本的单元之后,作者就想到,可以构建一个正方形的平面,平面上有多个符合二维高斯分布的「光斑」,这些光斑的位置就可以是优化变量,通过优化,就有可能能找到一个具有对抗特性的图案。

而这个图案,恰好可以与物理世界一一对应,正方形平面对应于一块板子,而数字世界的「光斑」,就是对应于物理世界中小灯泡的成像效果。

此时整个的优化流程就清晰了,首先在数字世界,首先构建一个带有多个「光斑」的patch,将它「贴」到红外数据集中的行人上面,同时作者也在数字世界模拟了物理世界的一些扰动,例如噪声,亮度变化,平移,旋转等等。这使得patch的鲁棒性进一步提高。

优化的目标函数包括检测器的物体置信度输出以及patch光滑度的和。通过反向传播来优化patch上「光斑」的位置,直到找到一个最优的图案。

而当数字世界验证好以后,就可以通过小灯泡将此图案在物理世界中实现,从而达到在物理世界中攻击红外行人检测器的目的。


实验结果

思路明确了,那么实验的效果如何呢?

实验结果表明,数字世界中基于二维高斯函数的patch可以成功地使得YOLOv3检测器的AP (Average Precision) 降低了64.12%。

注意到与之对比的同样大小的随机噪声patch和空白的patch仅使得检测器性能分别降低了25.05%和29.69%。


下面给出了一个具体的例子,可以看到,在数字空间中作者设计的patch可以成功躲避行人检测器。而与之对比的放有blank patch,random noise patch以及什么都不放的人却被检测到了。


接下来作者进行了物理实验。

以下左图是实际制造出来的装有小灯泡的板子,而右图是这个板子的红外热图像与模拟的数字图像的对比。


作者招募了若干名志愿者,在相同的环境下,测试优化后的小灯泡板子对红外行人检测器的对抗效果。对照组包含了使用空白的板子以及什么都不带的情况。

计算结果表明,在物理世界中,优化后的小灯泡板子可以使得YOLOv3检测器的AP降低了34.48%,而同样大小的空白板子仅仅使得检测器的性能下降了14.91%。


以下给出了一组具体的例子,由图中可以看到,在相同的条件下,使用了优化后的小灯泡板子的人没有被YOLOv3检测到,而持有空白板子以及什么都不带的人,被YOLOv3检测到了。

这表明,经过优化后的小灯泡板子可以成功攻破红外行人检测器。


上文中作者都是针对YOLOv3检测模型进行攻击,那么进一步的问题就是,生成的对抗样本能否迁移到其他检测模型上去。

一开始,作者采用了直接进行迁移攻击的方式,结果却不如人意。实验表明,通过YOLOv3模型生成的对抗patch直接迁移攻击,仅使得Cascade RCNN和RetinaNet的AP分别降低了11.60%和25.86%。

这时候作者想到了黑盒攻击的经典办法,模型集成。简而言之,就是集成多种模型来生成对抗样本,这样生成的对抗样本,由于已经综合了不同类型模型的信息,所以具有更好的迁移到未知模型的能力。

作者在实验中,集成了三种经典的目标检测模型,包括YOLOv3,Faster-RCNN和Mask-RCNN。集成之后生成的对抗patch,可以使得Cascade-RCNN和RetinaNet的AP分别降低了35.28%和46.95%。

由此可见,集成攻击的效果相比于直接迁移攻击有了大幅度的提高。

总结和展望

本文首次提出了针对红外行人检测系统进行物理攻击的方法。作者在数字世界中基于二维高斯函数构建对抗性的patch,并在物理世界中用小灯泡实现了对抗性的板子。

经过优化之后的对抗性板子可以成功地攻击YOLOv3模型。作者进一步采用集成攻击的方法,提高了对未知模型的迁移攻击能力。该

研究揭示了目前广泛使用的红外目标检测模型可能存在安全隐患,作者表示下一步的研究工作就是研究防御对抗样本的方法,这对于提升红外行人检测系统的安全性具有重要意义。

作者简介

本文的第一作者是来自于清华大学集成电路学院2018级的直博生朱小佩。他目前的研究方向是计算机视觉、对抗样本和目标检测。


本文的通讯作者是清华大学集成电路学院的王喆垚教授和清华大学计算机系的胡晓林副教授。

参考资料:

https://arxiv.org/abs/2101.08154


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
莽山烙铁头毒性极强,为何黑市100万一条?咬人后保护还是打死?

莽山烙铁头毒性极强,为何黑市100万一条?咬人后保护还是打死?

钟铭聊科学
2021-12-06 16:34:27
安吉丽娜朱莉祖孙三代诠释了基因影响颜值!

安吉丽娜朱莉祖孙三代诠释了基因影响颜值!

大嘴鸟娱乐
2021-12-06 17:15:30
对越作战胜利后我军回撤,越军紧追不舍,许世友大怒:用火箭炮轰

对越作战胜利后我军回撤,越军紧追不舍,许世友大怒:用火箭炮轰

山楂树上的猴子
2021-12-05 05:04:48
街拍:三人行,总是有一个穿得很清凉

街拍:三人行,总是有一个穿得很清凉

蔡宏志聊时尚
2021-12-06 18:30:24
曝《快本》首期录制完毕,快乐家族正式解散,主持人只剩下何炅

曝《快本》首期录制完毕,快乐家族正式解散,主持人只剩下何炅

巫小娱
2021-12-04 18:06:54
某国企设计院的薪酬体系

某国企设计院的薪酬体系

春色三分不晚
2021-12-06 11:33:40
全球最晚!《黑客帝国4》内地档期是在搞笑吗

全球最晚!《黑客帝国4》内地档期是在搞笑吗

蒙太奇印像
2021-12-05 06:48:47
不要神化…阿那亚

不要神化…阿那亚

真叫卢俊
2021-12-06 12:16:16
为啥日本儿童不用家长接送?看完日本处理人贩子的方式,这谁敢?

为啥日本儿童不用家长接送?看完日本处理人贩子的方式,这谁敢?

空降雄兵
2021-12-06 19:26:37
新冠“最凶猛病毒”来袭?谭德塞害怕的事发生,中国决定采取行动

新冠“最凶猛病毒”来袭?谭德塞害怕的事发生,中国决定采取行动

前沿时刻
2021-12-02 15:54:43
如何看待,成都主城区衰落、被抛弃、空心化,这种言论?

如何看待,成都主城区衰落、被抛弃、空心化,这种言论?

不鱼说房
2021-12-06 19:26:04
实习生三个月拿下100万订单,6万提成变两千,离职后老板愣了

实习生三个月拿下100万订单,6万提成变两千,离职后老板愣了

论生活所见
2021-12-04 19:06:23
开国十大元帅的子女是什么军衔?林总的两个女儿今天生活怎么样?

开国十大元帅的子女是什么军衔?林总的两个女儿今天生活怎么样?

红外铲史官
2021-12-03 04:30:02
韩雪:假唱、医闹、综艺节目痛哭,低调到让全世界都知道她有背景

韩雪:假唱、医闹、综艺节目痛哭,低调到让全世界都知道她有背景

扒圈大佬
2021-12-06 07:27:24
太丰满了吧,穿紧身牛仔裤,不是暴露缺点吗?

太丰满了吧,穿紧身牛仔裤,不是暴露缺点吗?

春色三分不晚
2021-11-11 13:59:14
明日大雪,别忘给家人吃“大雪六宝”,应季而食营养足,顺利过冬

明日大雪,别忘给家人吃“大雪六宝”,应季而食营养足,顺利过冬

有点煮意
2021-12-06 00:10:59
别再用微信文件传输助手了

别再用微信文件传输助手了

网事全知道
2021-12-04 21:44:19
拼多多的主图海报,是想笑死我嘛?!

拼多多的主图海报,是想笑死我嘛?!

浪设计
2021-12-06 09:13:43
张捷对联想事件的分析给出了与司马南不同的视角,切中要害!

张捷对联想事件的分析给出了与司马南不同的视角,切中要害!

娱乐十五日
2021-12-06 16:03:44
难道只有中美日韩四国有做手机?

难道只有中美日韩四国有做手机?

手机懂哥
2021-12-05 10:59:49
2021-12-07 01:40:49
新智元
新智元
AI产业主平台领航智能+时代
7505文章数 52507关注度
往期回顾 全部

科技要闻

出轨风波后,阿里还是把未来交给了蒋凡

头条要闻

文峰因"拍马屁"上热搜 商业帝国背后是消费者的血汗钱

头条要闻

文峰因"拍马屁"上热搜 商业帝国背后是消费者的血汗钱

体育要闻

克雷斯波:我越来越喜欢米兰,他们能够以出色的方式克服困难

娱乐要闻

"大傻"成奎安孙子车祸去世 年仅25岁

财经要闻

汽车要闻

上汽大众全新凌渡或明年1月发布 自带微笑面具

态度原创

亲子
本地
健康
数码
游戏

亲子要闻

爸妈四句“口头禅”,会让孩子胆怯,第四句最常见

本地新闻

焦虑症千万别玩,一局就是400天

"天价药"也有"平民价" 医保目录调整公布

数码要闻

曾嘲讽苹果“抹布”是智商税!马斯克开卖特斯拉钥匙扣

高画质生存游戏《翼星求生》,在激烈的竞争中寻求破局