网易首页 > 网易号 > 正文 申请入驻

ECCV 2026|当RGB变成不可靠变量:InfraNet用非对称学习重构RGB-IR检测

0
分享至



作者团队来自 Beihang University、Zhongguancun Academy、Communication University of China 和 KAUST,研究方向涵盖红外目标检测、多模态感知与复杂环境视觉。丰子超、朱昊东为共同第一作者,徐昇为通讯作者。

在讨论 RGB-IR 目标检测时,「两种模态互补」几乎是默认前提。RGB 擅长保留纹理和颜色,红外图像在弱光条件下更稳定,于是最直接的路线是搭建双分支网络,让它们在中间层不断交换信息。

InfraNet 的出发点却来自一个不太符合这一直觉的现象。

作者在 M3FD 夜间样例上查看了不同网络的中间特征。纯 IR 分支仍能把响应集中在车辆和行人附近;RGB 分支已经出现大面积背景噪声。更值得注意的是,一些融合模型得到的特征并没有比 IR 更干净,反而带入了额外激活。



夜间条件下 RGB、IR 与多种融合特征的可视化。RGB 退化后,融合结果可能引入额外噪声。

这组观察把问题从「怎样融合更多信息」改成了另一个问题:当辅助模态开始失真,网络有没有必要继续把它当作可靠输入

论文提出的 InfraNet,不是为两条分支设计一次更充分的对称融合,而是把 RGB-IR 检测中的训练和部署重新拆开讨论。



  • 论文标题:InfraNet: Quality-Aware RGB Guidance for Efficient Infrared Object Detection
  • 论文链接:https://arxiv.org/abs/2607.03795
  • 作者:Zichao Feng, Haodong Zhu, Jingying Yang, Sheng Xu, Yangyang Ren, Yuguang Yang, Xuhui Liu, Juan Zhang, Tian Wang, Linlin Yang, Baochang Zhang
  • 单位:Beihang University; Zhongguancun Academy; Communication University of China; King Abdullah University of Science and Technology (KAUST)

两个经常被绑在一起的假设

常规双模态检测通常同时接受两项设定:

  • RGB 与 IR 在每个样本上都能互补;
  • 两种传感器在部署时始终可用。

第一项会在夜间、雾天或强眩光条件下动摇,第二项则直接限制了模型的部署方式。即使 RGB 已经模糊、过曝,或者某些场景只提供红外图像,双流检测器仍要求两路输入共同完成推理。

InfraNet 将这两个假设分离:RGB 可以在训练阶段提供额外结构线索,但是否保留到推理阶段,应由具体部署条件决定。红外分支因此被固定为主路径,RGB 分支则承担受控辅助的角色。

基于这一思路,论文分别训练了两个网络,而不是让同一个模型临时切换模式:

  • InfraNet-IR在训练时读取成对的 RGB 与 IR 图像,推理时删除 RGB 分支和全部融合模块,最终是一个纯红外检测器;
  • InfraNet-RGB-IR保留两条路径,面向 RGB 与 IR 均可稳定提供的场景。



InfraNet-IR 的训练与推理路径。训练阶段引入 RGB 辅助分支,部署时仅保留 IR 主路径和检测头。

这样的区别并非简单的「完整版」和「裁剪版」。InfraNet-IR 从训练目标开始就要求最终预测能力落在 IR 路径上,RGB 只负责帮助这条主路径形成更好的表示。

QualGate 不估计画质,而是控制干预

如果 RGB 只是训练期辅助信号,接下来的问题是:它应该以多大强度进入红外分支?

InfraNet 的核心模块 QualGate 为每个融合位置预测一个标量控制信号 q。这个量由检测任务端到端学习,不需要额外的图像质量标签,也不被解释为通用的清晰度分数。它只回答一件事:当前 RGB 特征对检测训练到底有多大帮助。

QualGate 的控制分成两个同步方向:

  • 当 q 较低时,RGB contribution 被压低,减少退化特征向主路径传播;
  • 同时提高 IR 注入强度,在辅助信息变弱时补足红外表示。



QualGate 结构。标量控制信号同时作用于 RGB suppression 和 IR amplification。

这两个方向看起来简单,但论文的消融结果显示,它们并不能彼此替代。在 LLVIP 的 YOLOv8 InfraNet-IR 设置下,完整 QualGate 的 mAP 为 68.8;移除 IR amplification 后降至 67.2,取消 RGB suppression 后为 68.4,而把控制量固定为 1 的朴素版本为 67.7。

换言之,收益并不只是来自「给特征乘一个权重」,而是来自一组配套动作:减少不可信辅助信号,同时保证主模态不会跟着变弱。

人为破坏 RGB 后,网络是否真的更稳?

为了排除模型只是在正常数据上碰巧获得收益,论文固定 IR 输入,单独对 RGB 施加雾化和亮度扰动。

在最强雾化等级下,带可靠性控制的模型仍保持 97.1 AP50 / 67.8 mAP;将 q 固定为 1 的朴素融合版本下降到 92.6 AP50 / 61.8 mAP。随着雾化增强,学习得到的控制值也从 0.441 缓慢降到 0.434。

这个结果需要谨慎理解。q 不是一把「RGB 质量尺」,它在亮度扰动下并不一定单调变化;但作为检测任务内部的控制量,它确实限制了严重退化 RGB 对训练过程的干扰。

IR-only 的价值,要看部署账本

论文在 LLVIP、FLIR-Aligned、M3FD 和 DroneVehicle 四个数据集上评估了两种 InfraNet。除了最终精度,M3FD 上的一组对照更能说明 IR-only 设置的目的。



InfraNet-IR 相比同结构 IR baseline 提升 1.4 AP50 和 1.8 mAP,而参数量、推理时间没有变化。额外的 RGB 分支只存在于训练阶段,并未转化为部署负担。若现场能够稳定获得双模态输入,则可选择精度更高的 InfraNet-RGB-IR。

在其他数据集上,论文报告的代表性结果包括:LLVIP 上 YOLOv8 的 RGB-IR 与 IR-only 版本分别达到 70.5 和 68.8 mAP;FLIR-Aligned 上 YOLOv5 两个版本分别达到 89.5 和 88.1 mAP50;DroneVehicle 上 YOLOv12 InfraNet-IR 达到 84.7 AP50 / 63.9 mAP。

从检测框回到特征响应

M3FD 的定性结果提供了另一层证据。与 SuperFusion、TarDAL、CFT 和 FusionMamba 相比,InfraNet-IR 在多种照明条件下减少了部分重复框和背景误检,定位更接近标注结果。



M3FD 上不同方法的检测结果。InfraNet-IR 在夜间与复杂照明条件下保持较稳定的定位。

在中间特征中,InfraNet-IR 的高响应区域也更集中于目标本身,而不是道路、灯光或远处建筑。需要强调的是,这些响应来自已经完成 RGB 辅助训练的 IR 模型;真正部署时,输入仍然只有红外图像。



M3FD 夜间样例的特征诊断。InfraNet-IR 的目标响应更加集中,背景激活相对较少。

这项工作的边界在哪里?

InfraNet 并没有否定 RGB 的价值。白天或成像条件良好时,RGB 仍能补充红外图像缺少的纹理与颜色信息;这也是 InfraNet-RGB-IR 被保留的原因。

它所质疑的是另一种默认做法:只要有两种模态,就在训练和部署中始终对称地依赖它们。对于输入质量会随环境剧烈变化的系统,更现实的设计也许不是追求永久融合,而是先明确主模态,再决定辅助信息何时进入、以多大强度进入,以及它是否需要留到部署阶段。

从这个角度看,InfraNet 的主要贡献并不只是一个门控模块。它给 RGB-IR 检测增加了一条新的设计轴:模态之间不仅有信息互补关系,也有可靠性和部署责任的差异

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
长津湖战役中,美军发现一整连志愿军官兵冻死在阵地上。电影里表现是美军敬礼,但据当年一名16岁幸存者回忆,美军并没敬礼,而是挨个补枪

长津湖战役中,美军发现一整连志愿军官兵冻死在阵地上。电影里表现是美军敬礼,但据当年一名16岁幸存者回忆,美军并没敬礼,而是挨个补枪

人生录
2026-11-21 00:05:14
在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

快科技
2026-11-21 18:44:08
人老了真的没什么意思,我爸今年72岁,独自在家每天就做这五件事

人老了真的没什么意思,我爸今年72岁,独自在家每天就做这五件事

九哥哥车评
2026-11-21 09:38:35
辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

回京历史梦
2026-11-21 09:30:43
苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

品读时刻
2026-11-21 09:09:02
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

江山挥笔
2026-11-21 11:30:34
后悔不?租金从800万涨到2400万逼走胖东来,空楼跌到400万没人接

后悔不?租金从800万涨到2400万逼走胖东来,空楼跌到400万没人接

草莓信箱
2026-11-20 17:12:20
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

喜欢体育的猫
2026-11-21 10:36:48
发布会上说“开车是可以睡觉的,别睡死过去就行了”,余承东纠正:讲的不准确,现在还是L2时代,大家一定要注意安全,开车不能睡觉

发布会上说“开车是可以睡觉的,别睡死过去就行了”,余承东纠正:讲的不准确,现在还是L2时代,大家一定要注意安全,开车不能睡觉

蓬勃新闻
2026-11-20 21:56:53
局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

秋风妃
2026-11-21 14:13:31
高市制造了“舷梯门”

高市制造了“舷梯门”

天真无牙
2026-11-21 14:52:51
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
全球最高C罗雕像坐落上海!C罗哥哥为雕像揭幕:高7米 做SIU动作

全球最高C罗雕像坐落上海!C罗哥哥为雕像揭幕:高7米 做SIU动作

风过乡
2026-11-21 17:09:02
高市早苗在APEC会议期间就有关台湾问题表态,钧正平:若日方如表态所言恪守《中日联合声明》,就该拿出实实在在的诚意,公开收回错误言论

高市早苗在APEC会议期间就有关台湾问题表态,钧正平:若日方如表态所言恪守《中日联合声明》,就该拿出实实在在的诚意,公开收回错误言论

都市快报橙柿互动
2026-11-21 09:26:12
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

云上乌托邦
2026-11-21 00:20:04
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
2026-11-21 20:24:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
房产
时尚
家居
公开课

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

今年冬天流行“大+小”穿法,时髦又显瘦!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版