北京
无人机在夜间或高速运动时，目标检测掉链子，问题往往不在算法，而在传感器本身。RGB相机低光照下几乎失明，热红外在高动态场景中容易饱和，单一模态总有自己的盲区。最近一篇论文用61组受控实验给出了一个明确结论：RGB+热红外+事件相机的三模态组合，以84.24% mAP全面碾压所有双模态方案，事件相机在关键时刻补上了最后一块短板。
三类传感器，三种失效模式
这篇题为《Tri-Modal Fusion Transformers for UAV-based Object Detection》的论文，先把三类传感器的脾气摸了个透。RGB提供高分辨率结构信息，但低光照和运动模糊下直接罢工；热红外（LWIR）靠辐射对比度吃饭，低光环境稳定，但高动态场景容易饱和；事件相机以微秒级异步编码捕捉稀疏运动证据，信息量少但极其可靠。结论很直接：没有任何单一模态或双模态组合能在所有条件下保持可靠。
论文的核心设计是一套双流分级融合框架。RGB单独走一条流，热红外和事件相机合并成另一条流，两条流在四个分辨率阶段的选择子集上插入融合块。融合块包含两种机制：MAGE（模态感知门控交换）负责门控整流，BiTE（双向Token交换）负责信息交换，两者互为补充。FPN和Faster R-CNN检测头完全不用改动，融合位置和融合机制两个变量被彻底分离，方便逐项验证。
61组实验，把融合规律摸透了
为了验证这套框架，研究团队在DJI M300平台上搭载Logitech RGB、FLIR热红外和Prophesee事件相机，新建了一个10489帧的同步三模态无人机数据集。61组受控消融实验跑下来，几个关键规律浮出水面：三模态融合（84.24% mAP）优于所有双模态组合，其中最好的双模态RGB+Thermal只有83.42%；融合深度影响显著，轻量级CSSA算子偏好浅层，高容量GAFF算子则在深层表现最佳；MAGE和BiTE两个组件缺一不可，拆掉任何一个性能都会掉。
最值得关注的是事件相机的角色。它不是全程参与，而是在运动模糊和夜间干扰场景中关键补位。RGB失效时热红外顶上，热红外饱和时事件相机提供时间线索，三套传感器形成了一套接力逻辑。论文还对比了轻量CSSA和高容量GAFF两种替代算子，发现轻量方案在浅层就能以极小代价取回大部分三模态收益，这对算力受限的无人机平台是个实用信号。
这项研究的意义不只是刷高了一个mAP数字。它把多模态融合从"堆传感器"推进到了"设计融合策略"的层面——融合位置、融合机制、传感器分工，每一项都有实验数据支撑。对于做无人机感知的团队来说，这套双流分级框架和61组实验结论，可以直接拿来当设计参考。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
