再次刷榜！沈自所南理工提出WaveletStereo：解决立体匹配中的频率收敛不一致问题

论文信息

标题：Wavelet-Stereo：A Wavelet-based Stereo Matching Framework for Solving Frequency Convergence Inconsistency

作者：Xiaobao Wei, Jiawei Liu

机构：沈自所、南理工

原文链接：https://arxiv.org/abs/2505.18024

代码链接：https://github.com/SIA-IDE/Wavelet-Stereo

引言

双目立体匹配通过匹配左右视图对应的像素，来估计稠密的视差图。近年来，迭代范式方法表现出优异的性能，然而，我们在实验中发现这些方法在迭代过程中存在一个普遍但尚未被讨论的问题：高频（如边缘、纹理）与低频（如平滑、无纹理）区域在收敛行为上存在明显差异，我们将这一现象称为“频率收敛不一致性”（Frequency Convergence Inconsistency）。本文中，我们提出了一个即插即用的模块WaveletStereo，分别处理不同频率特征并保障其协同收敛，有效缓解了频率收敛不一致问题。我们提出的Wavelet-Monster在Sceneflow、KITTI 2012、KITTI 2015和ETH3D排行榜中均取得了第一名的成绩。我们首次明确指出频率收敛不一致现象，并提出了通用且有效的解决方案，为推动高性能立体匹配算法的发展提供了新的思路。

效果展示

零样本泛化比较：与基线Monster相比，我们的方法在具有高频区域(精细结构和远处物体)中表现出显著的改进。

我们通过canny边缘检测算子分离了视差图的高低频区域，分别统计了高低频区域在迭代过程的变化。可以观察到：低频区域随迭代更新逐步收敛，而高频区域在迭代早期快速收敛，在迭代后期出现了退化现象。我们将高低频区域不同的收敛表现称为频率收敛不一致性。 对此，我们给出的解释是：低频区域（如平滑表面、无纹理区域）依赖上下文信息进行匹配，需要通过迭代不断扩大感受野以整合更多上下文，因此其性能随迭代次数的增加而逐步提升。高频细节（如物体边缘、纹理）具有强烈的局部性，易于通过卷积操作在早期迭代中快速捕获，但其性能在后续迭代中可能会因感受野扩大、细节感知能力下降而退化。使用相同的感受野和处理方式应对所有区域往往会导致次优的结果。 基于这些观察，我们得出以下结论：

1. 高频特征可以轻易捕获所以并不依赖迭代更新（迭代后期更新高频特征甚至会导致性能退化）

2. 低频特征依赖迭代逐步收敛

针对总结的高低频特征的收敛特性，我们设计了以下即插即用的模块

1. 高频特征提取器：在迭代开始之前，我们使用一个轻量级U-Net网络提前提取图像中的高频细节特征。由于高频信息具有强烈的局部性，易于被卷积操作捕获，因此该模块在迭代前即可实现高频特征的充分收敛。

2. 高频保护的更新算子（HPU）：该模块用于在迭代过程中保护已收敛的高频特征，并将其与低频特征有效融合。它由两个子组件构成：

• 基于迭代的频率适配器（IFA）：IFA能够根据当前迭代状态，自适应地微调高频特征，使其与模型当前迭代下关注的内容相匹配；

• 高频保护LSTM（HP-LSTM）：负责将微调后的高频特征与当前迭代中的低频上下文融合，共同参与视差更新，同时避免高频信息在迭代中传递而导致退化。 通过这种双分支设计，Wavelet-Stereo 在扩展低频感受野的同时，有效保护了高频细节，实现了不同频率特征的同步、稳定收敛。

我们在KITTI2012，KITTI2015在线排行榜上取得了第一名的成绩，在ETH3D在线排行榜中，我们在不使用额外数据集训练的方法里同样取得了第一名。

总结

本研究揭示了迭代范式立体匹配方法中长期存在但未被重视的频率收敛不一致性问题。针对这一现象，我们提出了创新的即插即用解决方案——Wavelet-Stereo。通过深入分析高低频特征在迭代过程中表现出的不同收敛特性，我们设计了专门的双分支架构：高频分支在迭代前快速捕获细节特征，低频分支在迭代过程中逐步扩大感受野。两个分支通过精心设计的高频保护机制实现协同工作，最终达成高低频特征的同步优化。该方法在多个权威基准测试中均取得最先进性能，显著提升了立体匹配的精度和细节保持能力。本研究不仅首次揭示了频率收敛不一致现象，更为立体匹配领域提供了有效的解决方案和新的研究方向。