仅数像素也能精准定位！中科院推出红外小目标分割新 SOTA 框架

来源：市场资讯

（来源：计算机视觉研究院）

计算机视觉研究院

公众号ID｜计算机视觉研究院

学习群｜扫码在主页获取加入方式

https://pmc.ncbi.nlm.nih.gov/articles/PMC13208028/pdf/jimaging-12-00184.pdf

计算机视觉研究院专栏

Column of Computer Vision Institute

本文提出全新红外小目标分割框架 IRSTS_Unet，以动态形态自适应注意力+能量核心优先损失两大创新，精准破解了传统算法特征提取泛化弱、核心定位精度不足的痛点，在多个权威公开数据集上刷新了性能纪录。

PART/1

行业痛点

早期的红外目标检测主要依赖滤波背景抑制、局部对比度增强、低秩稀疏分解等传统范式，依赖人工设计的特征模板，在简单场景尚能发挥作用，但一旦背景波动剧烈、目标信号极其微弱，性能就会大幅下滑。

随着深度学习技术发展，数据驱动的 CNN、Transformer 类方法逐渐成为主流，但始终没能突破两个关键瓶颈：

注意力机制场景适配性不足现有自适应、可变形注意力大多面向通用视觉任务设计，没有针对红外小目标 “超小尺寸、弱边缘、动态尺度” 的特性做优化。静态采样网格容易引入大量背景噪声，让本就微弱的目标特征彻底淹没在杂波中；而 Transformer 类方案又存在计算量大、收敛慢、处理高分辨率小目标时易过拟合的问题。

损失函数对目标特性不敏感主流的 IoU、Dice 等损失函数对小目标的尺度变化、位置偏移容忍度低，且完全忽略了红外小目标 “中心能量强、边缘模糊” 的天然分布规律 —— 核心区域和边缘区域采用相同权重，导致核心区域的优化贡献被边缘稀释，最终出现核心定位偏移、边缘分割过度的问题。

PART/2

创新突破一

DSDAM 动态可变形注意力，采样跟着目标走

针对静态采样的固有缺陷，团队设计了动态形态自适应可变形注意力模块（DSDAM），通过 “初始位置设计→偏移驱动变形→形态感知特征聚合” 的三步流程，实现了完全参数化的自适应采样。

【Dynamic Shape-adaptive Deformable Attention Module (DSDAM) 模块结构图】

这个模块的核心优势体现在两点：

• 采样密度可动态配置

  ：通过可调节的下采样因子 r 控制采样密度。面对超小目标时降低 r，提升采样密度，精准捕捉细粒度特征；面对大目标或全局建模时升高 r，平衡计算效率。

• 能量引导采样偏移

  ：通过轻量卷积分支学习空间偏移量，自动引导采样点向目标核心区域聚集，同时从背景杂波区域撤离，差异化地关注目标核心与关键背景线索，既强化了小目标的中心特征响应，又能动态抑制背景杂波干扰。

团队将 DSDAM 深度嵌入到经典 U-Net 架构的特征提取与跨层特征融合两大阶段：

• 编码器低层：侧重捕获小目标的细粒度细节，强化核心区域采样，保留精准位置信息；

• 编码器高层：侧重学习目标与背景的全局关联，利用上下文线索辅助目标判别；

• 跨层融合阶段：根据不同尺度特征中的目标大小与位置，动态调整注意力权重，让低层细节与高层语义高效互补；

• 预测头之前：对多尺度特征做注意力聚合，进一步优化输入预测头的特征质量。

【IRSTS_Unet 整体网络架构图】

这套设计在完整保留小目标细粒度特征的同时，充分利用了上下文信息辅助判别，从特征层面解决了小目标易被背景淹没的难题。

PART/3

创新突破二

CECP-Loss 能量核心损失，优化盯着核心来

针对传统损失函数 “核心贡献被边缘稀释” 的问题，团队提出了核心能量感知优先损失（CECP-Loss），通过 “能量感知空间权重生成→核心优先损失计算” 的两步轻量设计，把红外目标 “核强边弱” 的物理先验直接嵌入训练优化过程。

它的设计逻辑简洁高效：

先根据标注真值计算目标前景的几何中心，再通过高斯衰减函数生成每个像素的空间权重 —— 离目标核心越近，权重越高，精准模拟红外目标能量从中心向边缘逐步衰减的自然规律；

将生成的空间权重嵌入基础 Dice Loss，让核心区域的预测误差对损失值影响更大，强制模型优先优化能量集中的核心区域，避免边缘噪声干扰模型学习方向。

整个损失函数无需任何额外辅助模块，也没有冗余计算，可以直接嵌入各类主流分割框架实现端到端训练，从优化目标层面倒逼模型提升核心定位精度。

PART/4

实验

全维度性能领先，泛化能力经得住考验

团队在 IRSTD-1K、NUDT-SIRST 两大行业公认的公开基准数据集上开展了全面实验，与 ACLnet、ISNet、AGPCNet、DNA-Net、MSHNet、EGPNet 等当前主流先进方法做了公平对比。

1. 超小目标场景：三项指标全部登顶

NUDT-SIRST 数据集平均目标尺寸仅 9×9 像素，信噪比低至 0.3dB，是典型的极端超小目标场景，对算法的小目标捕捉能力要求极高。

【NUDT-SIRST 数据集平均指标对比结果】

实验结果显示，IRSTS_Unet 在 IoU、检测率 Pd、误检率 Fa 三项核心指标上全部位列第一，其中 IoU 高达 91.87%，检测率达到 98.72%，误检率仅 8.207%。同时推理速度达到 63.8FPS，在超高精度的同时保持了优秀的推理效率。

2. 复杂真实场景：综合表现最优

IRSTD-1K 数据集涵盖城市、森林、海面等多种复杂背景，包含云层遮挡、植被干扰、光线杂波等多种干扰，目标尺度跨度大，更贴近真实应用场景。

【IRSTD-1K 数据集平均指标对比结果】

IRSTS_Unet 的检测率 Pd 达到 94.10%，误检率 Fa 低至 15.02%，综合表现优于绝大多数对比方法。分尺度来看，4~36 像素的主流尺寸目标检测率达 94.76%，36 像素以上的较大目标检测率高达 97.78%，仅对小于 4 像素的极小型目标存在一定漏检。

定性可视化结果更直观地体现了性能优势：对比其他方法普遍存在的弱信号目标漏检、背景杂波误检、边缘伪影等问题，IRSTS_Unet 的分割结果在目标完整性、定位精度、背景杂波抑制上都更贴近人工标注真值。

【IRSTD-1K 数据集定性对比可视化结果】

3D 能量分布对比则进一步验证了方法的核心优势：IRSTS_Unet 输出的目标高能峰在形态、位置、能量强度上都与真值高度吻合，背景区域保持稳定低能状态，精准还原了红外小目标 “中心强、边缘弱” 的能量特性。

【IRSTD-1K 数据集检测结果 3D 能量可视化对比】

3. 跨数据集测试：泛化能力突出

为验证方法的跨场景泛化能力，团队补充了跨数据集实验：模型仅在 NUDT-SIRST 上训练，直接在 IRSTD-1K 上测试，全程不针对目标数据集做任何调优。

【跨数据集对比实验结果】

结果显示，IRSTS_Unet 在所有关键指标上仍显著优于所有基线方法，充分证明算法没有对单一场景过拟合，跨场景迁移能力优秀。

4. 消融实验：两大模块缺一不可

消融实验精准验证了两个核心创新的价值：

• 移除 DSDAM 模块替换为普通卷积后，模型 IoU 从 67.56% 骤降至 54.31%，检测率下跌近 19 个百分点，误检率翻倍，证明动态自适应采样是提升特征提取精准度的核心支撑；

• 将 CECP-Loss 替换为传统 Dice 损失后，IoU、检测率均出现下滑，误检率上升，证明核心优先的损失设计能有效提升定位精度、抑制虚警。

此外，将 CECP-Loss 迁移到 MSHNet 等其他主流模型上，也能带来稳定的性能提升，证明该损失函数具备很强的通用性，可广泛赋能各类红外目标检测算法。

PART/5

总结与展望

这套 IRSTS_Unet 框架通过 “动态形态自适应注意力 + 能量核心优先损失” 的协同设计，精准命中了红外小目标分割领域长期存在的两大技术瓶颈，在检测精度、场景鲁棒性、跨域泛化能力上都实现了显著突破，为海上搜救、安防监控、森林防火、低空探测等场景的红外感知系统提供了更优的技术方案。

针对目前极低信噪比场景下超小目标的漏检问题，团队表示后续将结合噪声建模与自适应能量增强模块，进一步提升算法在强杂波、低信噪比极端场景下的鲁棒性，推动技术向更复杂的真实落地场景迈进。

论文相关代码已开源至 GitHub，感兴趣的读者可前往查阅完整源码与更多实验细节。

有相关需求的你可以联系我们！