ICCV 2021 | 低质图像化军师：让 IR测评摆脱高清依赖

图像质量评估是一个“古老”而重要的课题，有着广泛的应用和深远的影响。一些非常经典的图像质量评估方法，比如PSNR, SSIM，包括新兴的LPIPS，已经被广泛用来做图像复原任务的衡量指标。但是，这些指标通常需要高质量图像作参考，从而使得其在很多场景下无法适用。

本文针对图像复原任务的衡量问题，提出了一种更加具有可行性的图像质量评估方式：通过从低质量图像中提取有用信息，帮助衡量复原图像的质量。这一工作对于无高清图像的图像复原任务（Blind Image Restoration） 提供了一种切实可行的衡量方式，有望促进这一极具实际应用价值的领域的发展；此外，我们在实验过程中发现，低质图像作参考，对于衡量加GAN的复原图像的质量非常有帮助，希望本文可以对可导的GAN衡量指标的设计有所启发。

本文（Learning Conditional Knowledge Distillation for Degraded-Reference Image Quality Assessment）已被ICCV 21接收，并很快受到了图像质量评估领域大佬，SSIM的作者Zhou Wang的关注。Zhou Wang等人在21年10月份放出一篇名为“Degraded Reference Image Quality Assessment”的arxiv论文，较为系统地讨论了低质图像作为图像质量评估的参考这一课题。希望越来越多的同行可以关注到这一课题，共同推进图像质量评估和图像复原等任务的发展！

背景介绍

数字图像在处理、压缩、传输过程中，难免会发生质量亏损。图像复原（IR）的算法应运而生。图像复原算法旨在将低质量图像恢复成高质量图像，那么如何评估图像复原算法、衡量所恢复图像的质量呢？

图一：高清图像、低质量图像、所恢复图像

问题分析

全参考图像质量评估（FR-IQA）方式利用质量亏损前的高清图像作为参考，对比得到所恢复图像的质量分数。合适目前最有效的一种方式，也是被学术界广泛采用的方式，比如PSNR，SSIM，LPIPS等图像质量评估指标，都属于FR-IQA。但是在实际应用中，高清图片往往无法获得，这时这些方法便会不适用。

无参考图像质量评估（NR-IQA）提供了另外一种解决思路：直接将待评估图像拟合到质量分数，然而，参考信息的缺失导致问题难度变大，效果常常不尽人意。本文提出了低质参考图像质量评估（DR-IQA）的新思路，通过挖掘、利用图像恢复前的低质量图像，得到有用参考信息，从而更好评估所恢复图像的质量。

图二：FR-IQA, NR-IQA, DR-IQA对比图

方法设计

如何从低质量图像中有效提取有用的参考信息？我们设计了一种条件知识蒸馏网络来完成这一任务。具体来讲，相对于低质量图像，从高清图像中提取有用参考信息更加容易。因此我们将从高清图像中学到的参考信息，以知识蒸馏的方式指导对低质量图像参考信息的提取过程。由于整个过程都是以提取对评估所恢复图像质量有帮助的参考信息为前提和条件的，因此我们的方法称作条件知识蒸馏。

图三：条件知识蒸馏网络

实验结果

我们在PIPAL数据集上进行了实验，通过跟已有模型的NR-IQA模型比较可以发现，我们的解决方案有很大的提升。进一步地，我们将已有的FR-IQA模型转化到低质参考的设定下和我们的模型进行对比，验证了我们模型的优越性。

图四：对比实验结果

从下图可以看到，即使对质量亏损很严重的图像，我们的模型依然能够有效地从中提取出有用参考信息。

图五：低质量参考示例图

我们将基于GAN的复原图像从数据集中挑出来作为一个子集，在此子集上发现，DR-IQA和FR-IQA的效果非常接近，都远远好于NR-IQA，说明参考信息（不管是高清图像还是低质图像）对于衡量基于GAN的复原图像非常有帮助。如下表所示，这里的准确率是指，将两个不同的图像复原模型生成的图像作比较，IQA模型预测的哪张图像质量更好和人标注的哪张图像质量更好一致的比率。

图六：衡量基于GAN的图像复原模型时的准确率

相应代码和模型都已公开，可试用：https://github.com/researchmm/CKDN

来源：知乎

作者：ilcve

｜深延科技｜

深延科技成立于2018年，是深兰科技（DeepBlue）旗下的子公司，以“人工智能赋能企业与行业”为使命，助力合作伙伴降低成本、提升效率并挖掘更多商业机会，进一步开拓市场，服务民生。公司推出四款平台产品——深延智能数据标注平台、深延AI开发平台、深延自动化机器学习平台、深延AI开放平台，涵盖从数据标注及处理，到模型构建，再到行业应用和解决方案的全流程服务，一站式助力企业“AI”化。