北大开源全新图像压缩感知网络：参数量、推理时间大幅节省，性能显著提升 | 顶刊TPAMI

新智元报道

编辑：LRST

【新智元导读】PCNet网络具有创新的协同采样算子和优化的重建网络，实验结果证明，其在图像重建精度、计算效率和任务扩展性方面均优于现有方法，为高分辨率图像的压缩感知提供了新的解决方案。

压缩感知（Compressed Sensing，CS）是一种信号降采样技术，可大幅节省图像获取成本，其核心思想是「无需完整记录图像信息，通过计算即可还原目标图像」。

CS的典型应用包括：

• 降低相机成本：利用廉价设备就能拍摄出高质量图像；

• 加速医疗成像：将核磁共振成像（MRI）时间从40分钟缩短至10分钟内，减少被检查者的不适；

• 探索未知世界，助力科学研究：将「看不见」的事物变为「看得见」，如观测细胞活动等转瞬即逝的微观现象，以及通过分布式射电望远镜观测银河系中心的黑洞。

CS的两个核心问题是：

1. 如何设计采样矩阵，从而尽可能多地保留图像信息？

2. 如何设计高效的重建算法，从而精准复原图像内容？

CS的数学模型可表示为，其中x是原始图像，A是采样矩阵，y是压缩观测值。

现有CS方法主要存在两个局限性：

1. 采样矩阵信息保留能力不足：将图像切块，逐块采样，导致观测值信息量有限；

2. 重建算法的计算开销过大、复原精度有限。

针对现有的问题，北京大学信息工程学院的研究人员提出了一种实用、紧致的图像压缩感知网络PCNet，其针对压缩感知（Compressed Sensing, CS）领域长期存在的关键难题，设计了一种全新的协同采样算子，提高了模型在任意采样率下的灵活性、可解释性和恢复性能。

论文链接：https://ieeexplore.ieee.org/document/10763443

代码链接：https://arxiv.org/abs/2411.13081

发表刊物：IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

PCNet

1. 新型压缩采样矩阵设计

现有的压缩采样矩阵设计方法在信息保留能力上存在局限性，难以同时捕获图像的局部与全局特征。PCNet 针对此问题，提出了一种新型的协同压缩采样矩阵，显著提高了采样过程中的信息保留能力。该设计通过以下两步实现：

（1）局部特征提取：通过一个轻量级的小型卷积网络对输入图像进行滤波，充分捕捉图像的局部细节特征，例如边缘和纹理。这一过程有效降低了数据的冗余性，同时为后续全局特征融合奠定了基础。

（2）全局降维与特征融合：在完成局部特征提取后，进一步使用一个全局矩阵对滤波结果进行降维操作。全局矩阵通过引入更大的感受野，将图像的全局信息（如大尺度结构和整体布局）与局部特征有机结合，从而生成具有丰富信息的压缩观测值。

这种两阶段的采样方法，不仅确保了对细节特征的捕捉，还弥补了传统切块式采样方法在全局信息保留上的不足，使得生成的压缩观测值信息量更大、利用效率更高。

2. 新型图像重建网络设计

为了实现从压缩观测值到高质量图像的精准重建，本研究设计了一种融合优化理论与深度学习的图像重建网络。该网络在以下几个方面进行了创新性改进：

（1）基于近端梯度下降（Proximal Gradient Descent, PGD）的深度展开结构

传统 PGD 算法在求解稀疏优化问题时具有较强的理论保证，但其迭代过程较为缓慢，且难以适应复杂的图像数据。PCNet 将 PGD 算法的每一次迭代操作转化为深度神经网络中的一个层，通过这种深度展开策略，使得网络兼具理论可解释性和实际效率。

（2）模块化设计提升重建精度

在深度展开网络中，结合了最新的模块设计，包括注意力机制（Attention Mechanism）和多尺度特征融合模块，进一步提升了重建效果：

• 注意力机制：通过引入通道注意力和空间注意力，有效增强了网络对重要图像区域（如边缘和纹理）的关注能力。

• 多尺度特征融合：在不同尺度上提取和整合特征，确保网络既能恢复局部细节，也能重建全局结构。

（3）轻量化与高效性

为了适应高分辨率图像（如2K、4K、8K）的处理需求，PCNet 在设计中采用了参数量和计算开销较低的网络架构，同时通过优化内存使用和并行计算能力，大幅提高了推理效率。

3. 应用范围的扩展性与通用性

除了在标准压缩感知任务中的表现，PCNet 的设计还具备较强的扩展性，其核心思想可以直接应用于以下任务中：

（1）量化压缩感知（Quantized CS）

利用所提出的协同压缩采样矩阵，应对观测值受量化误差影响的场景，实现高效的量化数据还原。

（2）自监督压缩感知（Self-Supervised CS）

将采样矩阵与重建网络设计融入自监督学习框架，降低对真值数据的依赖，同时提升算法的通用性和鲁棒性。

PCNet 的这些创新设计显著解决了现有方法在采样和重建方面的性能瓶颈，为压缩感知技术的实际应用提供了全新的可能性。

图1 提出的实用、紧致的压缩感知网络PCNet。

图2 提出的协同采样算子。

实验结果

为了验证所提出方法 PCNet 的有效性与优势，本工作在多个基准数据集和多种任务场景下进行了详尽的实验评估，如图3所示。这些评估涵盖了压缩感知性能、算法效率和通用性测试。以下是实验结果的详细描述：

1. 图像重建精度

PCNet 在多个公开的图像基准数据集（Set11、CBSD68、Urban100、DIV2K）上进行了系统实验，并与当前主流的压缩感知方法进行了对比，重点评估了重建图像的峰值信噪比（PSNR）和结构相似性（SSIM）。

结果表明，在Set11数据集上，PCNet在PSNR和SSIM上均超越现有方法，特别是在低采样率条件下，能够重建出更高质量、细节更清晰的图像；在CBSD68数据集的自然图像测试集中，PCNet展现出卓越的细节保留能力，尤其在边缘和纹理区域，其性能显著优于传统方法；

在Urban100数据集的城市场景中，PCNet 在高频细节（如建筑物的边缘线条和窗户结构）上实现了更高的清晰度和精确度；在 DIV2K 数据集上，面对高分辨率（2K、4K、8K）图像的挑战，PCNet 在不同采样率下均取得显著性能提升，充分展示了其对高分辨率场景的适应能力。

2. 计算效率与资源消耗

实验还评估了PCNet在计算效率和资源消耗方面的性能，结果表明，在相同硬件条件下，PCNet的推理时间平均比传统方法减少了40%，充分证明了其轻量化设计的优越性；在内存使用方面，PCNet的优化设计显著降低了高分辨率重建任务的内存占用，使其能够在有限资源的设备上高效运行；在参数量方面，与复杂的深度学习方法相比，PCNet的参数量减少了30%以上，但性能却显著提升。

3. 任务扩展性与通用性测试

除了在标准压缩感知任务中的卓越表现外，PCNet的实验还验证了其在其他相关任务中的适用性。在量化压缩感知任务中，PCNet的协同采样矩阵设计能够有效适应量化误差，即使在量化误差较大的情况下，重建性能仍优于现有方法；在自监督学习任务中，PCNet在无标注数据的场景下结合自监督框架进行训练，展现了出色的适应能力和鲁棒性。

图3 方法与其他CS方法的对比结果。

参考资料：

https://ieeexplore.ieee.org/document/10763443