TPAMI 2026 | EFRUFN 横空出世：高效融合规则展开网络实现通用图像融合新高度

来源：市场资讯

（来源：小白学视觉）

在遥感影像分析中，多模态遥感变化检测(MRS-CD)一直被当作一个重要的研究方向。可以将光学和SAR等不同类型的传感器的信息进行整合，在城市监控、环境保护等领域起着非常重要的作用。但是在实际使用过程中，跨模态差异容易造成假阳性反应，并且像素级别的密集标注成本很高。最近提出的SGCA框架把稀疏涂鸦标注作为主要监督信号来解决上述问题。本文将会对弱监督变化检测的方法做全面的研究，包括研究背景、主要创新点、具体实现过程以及实验结果等。

论文信息

题目：SGCA: A Scribble-Guided Cross-Attention framework for multimodal remote sensing change detection

涂鸦引导的交叉注意力框架：用于多模态遥感变化检测

作者：Yongjie Zheng, Hao Liu, Houcai Guo, Sicong Liu, Lorenzo Bruzzone

源码：https://github.com/MissYongjie/SGCA

一、研究背景：多模态遥感变化检测的两大痛点

多模态遥感变化检测主要就是对不同时相、不同传感器的影像进行比较来发现地表的变化。但是两个主要的问题一直限制着它的进步：

1. 模态差异造成特征对齐困难：光学、SAR等传感器成像方式和光谱响应不一样，同一个没有发生变化的地物，在不同的模态图像上表现出来的样子差别很大，直接比较很容易出现很多假的变化。 2、标注成本高的问题限制了它的落地：像素级别的密集标注需要投入大量的劳动力，在实际的应用当中很难做到；目前的无监督或者弱监督的方法，或者是依靠超像素等人工预先设定好的条件（对于参数比较敏感），或者是伪标签噪声很大，不能够很好地去捕捉到细微的变化。

涂鸦标注具有低成本以及空间指向性的优点，在变化区域画上少量笔迹就可以得到重要的空间先验信息。怎样把稀疏监督有效地融入到跨模态特征交互中去，就成了一个重要的问题。

二、SGCA框架的核心创新点

SGCA（涂鸦引导交叉注意力框架）的主要内容就是把稀疏的涂鸦转换为有效的空间先验，在整个特征融合和监督优化的过程中起着关键的作用，它的主要创新点有四个方面：

1. 涂鸦引导的交叉注意力模块：让跨模态特征对齐更精准

传统的跨模态注意力计算容易受到背景的影响，SGCA会把涂鸦标注用自适应高斯平滑的方法生成软空间先验图，并且把这个先验图加入到交叉注意力计算的过程中去。该设计使得模型可以主动地关注到变化区域的跨模

• 态特征交互上，抑制掉背景噪音，从而达到结构感知下的特征对齐和融合的效果，有效地解决了由于模态差异所导致的特征错位的问题。

2. 双掩码渐进式优化：从稀疏涂鸦扩展可靠监督

为了使稀疏涂鸦发挥最大的作用，SGCA设计出了动态涂鸦学习机制。用AOI来表示关注区域掩码、用累积标注掩码来区分可靠的标注区域和不确信的标注区域。在训练过程中，模型会迭代地选取高置信度变化像素，并且逐渐扩大涂鸦监督范围，不断地提高伪标签准确率，从而使得稀疏监督的价值得到不断的体现。

3. 混合多任务损失函数：兼顾一致性、判别性与结构完整性

SGCA建立了一个包含三个部分的损失函数，每个部分都承担着不同的任务：

• 特征一致性损失：在没有发生变化的地方使跨模态特征一致，从而降低虚假的变化； 特征分离损失：在变化区域提高特征判别能力，防止漏检； 结构相似性重建损失：保持影像的精细结构特征，使检测结果更加符合实际的地物边界。

4. 弱监督下的高性能：稀疏标注媲美密集监督效果

这套框架只用稀疏涂鸦标注就可以在多种不同的数据集上超过无监督以及现有的弱监督的方法，并且证明了涂鸦监督对于多模态变化检测具有实用性和可扩展性。

三、SGCA框架的完整实现逻辑

1. 整体架构（图2）

SGCA整体结构由四个主要部分组成： 涂鸦生成策略：制定统一的涂鸦标注规则来保证标注的稀疏性与代表性； 动态涂鸦学习：迭代扩大涂鸦监督范围，不断增大监督信号的覆盖程度； 涂鸦引导交叉注意力：用涂鸦先验来指导跨模态特征融合； 复合损失函数：用多种方式来约束模型训练，从而提高检测准确率。

2. 关键流程拆解

（1）涂鸦生成

标注者只需要在需要修改的地方画出自由线条，然后把所有的线条合并在一起，并且用形态学的方法把它们细化为一像素宽的原始涂鸦图像。标注采用的是“低覆盖、重分布、高效率”的原则，单张图片的标注只需要几秒钟的时间就可以完成，大大降低了标注的成本。

（2）动态涂鸦更新

在训练过程中，模型首先会计算出跨模态特征的距离图（距离越大，变化的概率就越高），然后在AOI掩码范围内的没有被标记过的像素里挑选出置信度高的像素来填补涂鸦区域。每隔十个训练周期就会更新一次，当涂鸦覆盖率达到预定阈值的时候停止更新，从而使得监督信号逐渐扩大。

（3）涂鸦引导交叉注意力计算

把经过高斯平滑处理过的涂鸦先验图进行下采样到特征尺度，并用作空间权重加入到注意力计算中去。使模型在进行跨模态注意力计算的时候，主要关注涂鸦指示变化的地方，从而实现结构感知的特征融合，而不仅仅是全局地计算注意力。

（4）复合损失优化

三个损失函数一起起作用：不变区域使特征保持一致，变化区域保证特征分离，重建损失保留结构细节，在稀疏监督下也可以使模型稳定收敛。

四、实验验证：多数据集下的性能与鲁棒性

1. 实验设置

研究用六个不同的数据集来检验SGCA，在光学、SAR等多种模态下进行测试，分辨率从0.52米到30米不等，变化类型有洪水、城市扩张、湖泊变化等等，并且还使用了两个相同的训练数据集来进行比较，主要用OA、Kappa、F1这三个标准来衡量结果。

2. 定量结果：精度与效率双优（表4）

在所有的异质数据集中，SGCA的OA、Kappa和F1都处于领先的位置： 在HetData #1 上，F1 得分为 0.921，Kappa 得分为 0.910，稍微低于 SHIFT-Post 但是明显高于 SHIFT-Base 和传统的做法； HetData #2、#3 上 F1 分别为 0.845 和 0.885，是所有的方法中最好的； 在中高分辨率光学-SAR数据集(HetData #4-6)上，SGCA的优势一直存在，并且在HetData #5(城市小尺度建筑变化)上表现尤为突出，Kappa值为0.737、F1值为0.778，远远高于基准。

在效率上，SGCA推理的时间和SHIFT系列差不多，HetData #2只需要12.19秒，HetData #5也只要26.69秒，远远小于NPSG等计算量大的方法，既保证了精度又具有实用性。

3. 定性结果：细节更准，伪变化更少（图4）

从视觉结果看： 传统的办法（比如IRG-McS、GIR-MRF等）容易产生噪声和过度分割的问题，在HetData #1里假阳性的地方很多； 现有的涂鸦监督方法（例如SG-SRF）对于小尺度的变化区域容易出现漏检或者边界不清晰的问题； SGCA生成的变化图边界分明，伪变化小，可以准确地捕捉到HetData#5中的分散城市建筑变化和HetData#6中自然景观微小地形的变化。

4. 消融研究：验证核心模块价值

（1）涂鸦监督的必要性（图7）

去掉对涂鸦进行监督之后，模型收敛的速度变慢了，边界描述的准确性降低了，虚假阳性的范围也变大了。这就说明了稀疏涂鸦可以有效地把变化的地方固定住，从而提高检测的准确率。

（2）损失函数与交叉注意力的贡献（表5、表6）

去掉任何一个损失分量都会使性能明显降低，而全部损失分量一起出现时可以得到最好的结果； 交叉注意力模块使OA由原来的0.976提高到了现在的0.980，F1值也从原来的0.899上升到目前的0.921，虽然只增加了很少的参数量但是却提高了很大的效果，非常值得。

（3）同质数据集泛化性（表7、图8）

在光学(HomoData#1)、SAR(HomoData#2)同质数据集上，SGCA仍然处于领先地位，F1分别为0.831和0.789，说明该框架可以很好地适应各种传感器模式，并且具有很强的泛化能力。

五、总结与展望

SGCA的主要价值就是把稀疏的涂鸦标注转换为可以迭代和扩展的空间先验，并且解决了多模态遥感变化检测中的两个主要问题：模态差异难以对齐以及密集标注成本高昂。不是简单的用涂鸦来做伪标签来初始化，而是把涂鸦深度地融入到特征交互、迭代优化的整个过程中去，在弱监督下使得变化检测的精度有了新的突破。

但是SGCA还有很大的提升空间，在标注极稀疏或者模态严重错位的情况下，它的表现仍然会受到影响。以后可以和自监督预训练、高阶结构建模相结合来提高模型的泛化能力。

从整体上来看，SGCA可以给多模态遥感变化检测提供一个低成本、高精度的弱监督方案，而涂鸦引导的特征融合方法也可以给其他的弱监督视觉任务提供借鉴。相关的源代码已经开源了，有兴趣的研究人员可以继续去研究和发展。