模糊图像变清晰：多帧盲解卷积的黑科技

让旋转模糊图像变清晰：多帧盲解卷积的黑科技

Multi-Frame Blind Manifold Deconvolution for Rotating Synthetic Aperture Imaging

https://www.arxiv.org/pdf/2501.19386

摘要

旋转合成孔径（RSA）成像系统通过旋转矩形孔径，在不同的旋转角度下捕捉目标场景的图像。对获取的RSA图像进行去模糊处理在重建场景中潜在清晰图像的过程中起着关键作用。在过去十年中，盲卷积技术的出现因其能够从获取的图像中建模复杂特征而彻底改变了这一领域。大多数现有方法试图通过最大化后验概率来解决上述不适定逆问题。尽管取得了进展，但研究人员对潜在图像在高维环境空间中的低维流形结构的探索关注有限。本文提出了一种新的方法，利用多帧盲卷积框架下的流形拟合与惩罚策略来处理RSA图像。我们为所提方法开发了快速实现算法。仿真研究表明，在估计像素强度和保留结构细节方面，基于流形的去卷积方法在生成更清晰的潜在图像估计方面优于传统的去卷积算法。

关键词 ：旋转合成孔径成像，多帧盲去卷积，流形拟合，潜在图像重建

1 引言

由于体积限制，紧凑轻型卫星难以使用大型望远镜来实现高分辨率地球成像。Rafanelli 和 Rehfield（1993）提出的旋转合成孔径（RSA）成像系统通过在不同时间角度下旋转矩形孔径来捕捉图像。RSA 有潜力提升所有图像的分辨率，从而最大化这些受限平台的性能。由于孔径形状的影响，图像通常在短轴方向上的分辨率低于长轴方向，并且其底层点扩散函数（PSF，或称去卷积领域的模糊核）具有空间不对称性，该 PSF 会随着反射镜的旋转而随时间变化（Sun 等，2023）。在旋转过程中，这种方向可变性使得从不同角度拍摄的图像能够沿着长轴捕捉场景的独特特征（Zhi 等，2021）。因此，由于反射镜的旋转，如何采用合适的图像融合方法将图像序列中的信息综合成一张高分辨率图像显得尤为关键。合成后的图像可以达到甚至超过传统圆形孔径的分辨率，提供一种成本低、复杂度低的替代方案（Monreal 等，2018）。相比之下，圆形孔径捕获的图像具有统一的 PSF，导致所有角度下的退化一致。这种一致性限制了图像序列中角度相关特征的捕捉。要使用圆形孔径实现高分辨率，需要更大的镜头，这会导致高昂的制造成本（Stepp 等，2003）。近年来光学遥感的研究表明，RSA 具有减轻载荷尺寸和重量限制的潜力，而这些限制通常是传统大孔径系统所面临的（Sun 等，2024；Lv 等，2021）。为了充分发挥 RSA 的优势，需要先进的图像融合方法，从条带状孔径成像传感器获取的多个图像帧中重建出高分辨率图像。

传统的融合技术，如主成分分析（Kwarteng 和 Chavez，1989；Jelenek 等，2016）、小波变换（Li 等，1995；Amolins 等，2007）以及小波分解（Cheng 等，2015），往往因无法很好地适应 RSA 独特的退化特性而效果不佳。目前的融合软件主要依赖于在不同角度下输入多个 PSF（Zackay 等，2016），但由此生成的图像可能仍受到矩形孔径造成的退化影响。此外，在轨卫星振动也可能进一步模糊所获取的图像，降低 RSA 的性能。

在文献中，已有研究提出了非盲卷积（Gregson 等，2013；Dong 等，2011）与盲去卷积（Kotera 等，2013；Sroubek 和 Milanfar，2011）方法用于 RSA 图像重建。非盲去卷积技术使用已知的 PSF 对获取的图像集进行去模糊，而盲去卷积则试图在 PSF 未知的情况下，从 RSA 捕获的一组模糊图像中恢复清晰图像。作为一个不适定逆问题，大多数盲去卷积算法严重依赖正则化。常用的正则化框架基于最大后验概率（MAP）并结合预选先验（Satish 等，2020）。MAP 方法允许灵活地在不同阶段整合图像和模糊核的合适先验，有助于缓解去卷积问题的不适定性，并引导算法准确重建图像（Levin 等，2019）。

MAP 方法可分为两大类（Levin 等，2019）：
(a) MAP(x,k) 方法，同时估计潜在图像和 PSF；
(b) 边缘后验方法，先通过边缘后验估计 PSF，然后使用非盲去卷积算法恢复潜在图像（Babacan 等，2008；Wipf 和 Zhang，2014）。
在这两种情况下，先验的选择都起着重要作用。

研究人员考虑了多种先验，包括超拉普拉斯先验（Krishnan 和 Fergus，2009），它利用自然图像梯度的稀疏性（Miskin 和 MacKay，2000）；L0 范数先验，对文本图像去模糊有效（Pan 等，2016）；全变分（TV）先验（Chan 和 Wong，1998）；L₁/₂ 范数先验（Krishnan 等，2011）；低秩先验（Gu 等，2014）；以及暗通道先验（He 等，2010）。

Rameshan 等（2012）指出，大多数模糊核并非均匀分布，通常表现出特定结构，例如径向或横向对称性。常用于估计模糊核的先验包括 L1 范数先验（Dong 等，2012）、用于稳定估计的 L2 范数先验（Ren 等，2016）、梯度域中的 Lp 范数（Rameshan 等，2012），以及专门编码模糊图像与清晰图像之间关系信息的先验（Liu 等，2014）。

RSA 成像系统可以从多个角度拍摄同一目标的多张图像，这有助于缓解盲去卷积问题的不适定性。关于多帧盲去卷积的研究可见于（Sroubek 和 Milanfar，2011；Dong 等，2012；Delbracio 和 Sapiro，2015）。

大多数现有的去卷积算法都可以通过迭代方式进行，其中每次迭代逐步改进对点扩散函数（PSF）和潜在图像的估计。迭代方法包括最大后验概率（MAP）和期望最大化（EM）算法。尽管这些先进算法在提升图像质量方面取得了一定成效，但由于目标场景结构未知，卫星振动所引起的模糊仍可能降低 RSA 成像的质量。

为了解决这一问题，我们在稀疏先验的帮助下提出了一种流形拟合方法，以减少所捕获图像中的噪声。流形拟合已被应用于降维（Weinberger 和 Saul，2006）。它基于流形假设（Fefferman 等，2016），即高维数据通常位于周围环境空间中的一个低维流形附近。RSA 系统获取的模糊图像嵌入在一个高维环境空间中，通常表现出低维流形结构（Osher 等，2017；Gong 等，2010）。这促使我们去估计包含潜在图像的低维流形，并将获取的多帧图像投影到该流形上。通过利用流形结构，我们可以显著提高所获取图像的质量。

我们的方法实施分为三个步骤：
(1) 对捕获的图像进行去卷积，并通过 L1 范数惩罚促进超分辨率图像的稀疏性；
(2) 使用流形拟合来提升这些图像的分辨率；
(3) 合并这些增强后的图像，生成一幅场景的高分辨率图像。

我们所提出方法的主要贡献体现在三个方面：

• 提出了一种多帧盲流形卷积模型。开发了一种增强算法，以减少流形去卷积在每张捕获图像上的偏差，从而提升后续流形拟合的效果。

• 针对相关优化问题，开发了快速求解算法。

• 通过仿真实验验证了将盲去卷积与流形拟合相结合的方法，优于直接进行流形建模或直接对原始捕获图像进行盲卷积的方法。与现有方法相比，所提方法能够在像素强度准确性和结构细节保留方面，从获取的 RSA 图像中重建出更清晰、高质量的图像。

本文其余部分组织如下：第 2 节详细描述并实现了所提出的方法；第 3 节在模拟数据集上评估了该方法的有效性；第 4 节总结全文，并提出了未来可能的改进方向。

文中符号 表示随机变量，而小写字母表示它们对应的具体取值。记号 vec(⋅)表示将多维数组按列堆叠成向量。记号 ∗表示二维离散卷积算子，如附录 A 所定义，其逐通道应用于每个通道。

2 方法论

RSA 系统中的成像过程可以建模为在不同角度下，模糊核（即点扩散函数）与一幅高分辨率图像进行多帧盲卷积，并叠加一些加性噪声的过程，即：

2.1 最大后验盲去卷积：XK 过程

Levin 等人（2009）对盲去卷积的一个重要观察是，传统的最大后验（MAP）方法在实际应用中存在失败的情况。这些作者强调了单独估计模糊核 相较于同时估计图像和模糊核 的优势。

近期研究表明，使用梯度图像和边缘化方法相比原始 MAP 方法具有优势。尽管其中一些先验设定可能有所不同，但改进后的 MAP 方法的基本思想是：基于 RSA 系统捕获的多帧图像 ，通过交替执行以下两个优化步骤（Zhou 等，2021），来估计图像 x和模糊核 ki。

X 步骤 （X-Step）：固定模糊核 的值，最大化带惩罚项的最小二乘函数：

需要注意的是，清晰自然图像中的梯度通常具有稀疏性（Miskin 和 MacKay，2000），也就是说，大多数梯度接近于零，只有少数例外。这种特性可以用超拉普拉斯分布来描述（Krishnan 和 MacKay，2009）。图像 x的更一般的梯度特征可以通过以下方式来刻画：

K-Step：梯度图像会抑制低频成分，并强调高频细节（如边缘），这些在自然图像中是常见的。卷积对 x的高频成分有主要影响，而对低频成分的影响可以忽略。因此，在基于原始图像 (y,x)的核估计过程中，可能会因为使用了不相关的低频信息而引入一些偏差。这表明，在梯度域中进行核估计将优于在像素域中进行（Cho and Lee, 2009）。因此，在固定 x的情况下，通过最小化梯度模型（2.2）的最小二乘函数来估计 ki。

2.2 最大后验盲流形去卷积：IMR-过程

假设所采集的图像是在一组点扩散函数（PSFs）作用下对一个清晰图像进行盲卷积并带有噪声的结果，而该清晰图像嵌入在一个低维流形中。根据上一小节所述的思想，我们通过使用流形拟合，开发出一种增强的多帧盲去卷积方法，该方法分为三个主要步骤实现。

2.2.2 MF-Step（流形拟合步骤）

流形拟合算法基于流形假设 ，即：自然图像作为高维数据，通常位于环境空间中一个低维流形附近，表现出内在的低维结构（Fefferman 等，2016；Osher 等，2017）。我们的目标是估计这个低维流形，它在高维空间中封装了潜在图像。估计出的流形随后可用于通过将样本投影到该流形上来实现去噪（Gong 等，2010）。

Yao 等（2023）提出了一种创新的流形拟合方法，避免了迭代过程。其核心思想是将一个经过优化的样本表示为未优化样本的“矩形”邻域内样本的加权平均。该方法需要一个对潜在流形 M的初始估计，且该初始估计不应与 M相差太远。

相比模糊图像 yi，在上一步中获得的去卷积图像 x~i更接近潜在的高分辨率图像，因为已经通过 MAPx,k方法减轻了卷积的影响。因此，可以作为潜在流形的一个初始估计。

通过流形拟合方法，可以进一步减少 中的噪声，该方法包括两个步骤：
1）估计收缩方向；
2）局部收缩。

2.2.3 RC-Step（重建步骤）

3 数值结果

为了评估所提出方法的有效性，我们从一张真实图像出发模拟模糊图像，并使用这些模糊图像重建潜在图像。

3.1 数据集

我们从 skimage.data 中选取了一张宇航员的彩色（RGB）图像（尺寸：512 × 512），并将其像素强度值从集合 {0,1,⋯,255}重新缩放到 [0,1]范围内（除非另有说明，所有图像均以该范围表示像素强度）。接下来，生成了三十六个稀疏核，每个核的大小为 25 × 25，并与该 RGB 图像进行卷积，其中每一个核代表一个特定方向下的点扩散函数（PSF）。随后，向这些卷积后的图像中添加标准差为 0.05 的独立同分布（i.i.d.）高斯噪声。

模糊过程符合公式（2.1），图 1 展示了由此产生的模糊效果示例。

4 结论

在本文中，我们提出了一个假设：由 RSA 成像系统所捕捉的图像可以建模为一个潜在清晰图像与一系列点扩散函数（PSFs）进行多帧卷积后并加入噪声的结果，并且该潜在图像嵌入在一个高维环境空间中的低维流形上。

基于这一假设，我们开发了一种新方法，用于增强 RSA 成像系统所捕获的图像，并在盲流形去卷积的框架下重建出更清晰的图像。在所提出的方法中，我们首先使用改进的最大后验（MAP）框架对 RSA 捕获的图像进行去卷积。

接着，我们对去卷积后的图像进行流形拟合，并通过探索其低维流形结构来增强这些图像。

最后，我们在增强后的图像上重新引入卷积操作，以生成去噪后的卷积图像，从而用于清晰图像的重建。

我们的仿真结果表明，与传统的多帧盲去卷积方法相比，所提出的方法在像素强度估计和结构细节保留方面表现更优。

结果还表明，将低维流形拟合应用于去卷积后的 RSA 图像，比直接拟合原始捕获图像能够获得显著更好的效果。

通过结合基于深度学习的去卷积最新进展（如 Ren 等，2020；Kotera 等，2021）以及图像融合技术（如 Zhi 等，2021；Sun 等，2024），所提出的方法还可以进一步改进。

在此背景下，我们提出的方法提供了一个以优化后的观测图像为核心的灵活图像融合框架。深度学习方法可以被用于对每张捕获的图像进行去模糊处理，同时也可以应用于最终清晰图像的重建过程。

附录 A：卷积、离散傅里叶变换（DFT）与命题 A.1 的证明

https://www.arxiv.org/pdf/2501.19386