CVPR 2026 | 首个专属基准！FLIR-IISR 真实红外数据集 + 自回归框架

来源：市场资讯

（来源：小白学视觉）

在低光照、恶劣天气等复杂环境下，红外成像技术是目标检测、自动驾驶、安防监控等感知任务的“火眼金睛”。但真实世界中的红外图像，总会受光学散焦、运动模糊、热辐射漂移等耦合退化影响，分辨率和清晰度大打折扣。

此前的红外图像超分辨率研究，要么依赖模拟退化数据集，要么忽略红外成像的物理特性，很难落地到真实场景。而近日发表的《Toward Real-world Infrared Image Super-Resolution: A Unified Autoregressive Framework and Benchmark Dataset》一文，不仅构建了首个真实世界红外超分数据集，还提出了一套兼顾结构保真与热辐射一致性的自回归框架Real-IISR，为解决这一难题提供了全新方案。

论文信息

题目： Toward Real-world Infrared Image Super-Resolution: A Unified Autoregressive Framework and Benchmark Dataset

面向真实世界的红外图像超分辨率：一个统一的自回归框架与基准数据集

作者：Yang Zou, Jun Ma, Zhidong Jiao, Xingyuan Li, Zhiying Jiang, Jinyuan Liu

源码：https://github.com/JZD151/Real-IISR

一、痛点直击：真实红外超分的两大核心难题

红外图像超分的研究一直滞后于可见光领域，核心卡在两个关键点：

缺乏真实数据集：现有研究多用下采样的红外-可见光融合数据训练模型，无法复现真实场景中“光学+传感器”的耦合退化，模型泛化能力极差；

退化建模不贴合红外特性：红外成像存在热辐射与结构边缘失配、空间非均匀模糊等问题，传统超分方法要么依赖固定退化先验，要么忽略红外特有的热物理规律，重建结果易出现边界扭曲、热漂移。

为了打破这一僵局，研究团队从“数据集构建”和“算法设计”双管齐下，给出了系统性解决方案。

二、FLIR-IISR：首个真实世界红外超分数据集

想要做好真实场景的算法研究，高质量的数据集是基础。研究团队受RealSR启发，搭建了FLIR-IISR数据集——这是首个针对真实世界红外超分的成对LR-HR数据集。

该数据集有几个核心特点：

• 规模与覆盖度：包含1457对真实采集的低分辨率-高分辨率红外图像，覆盖6个城市、3个季节、12个场景类别（人物、汽车、建筑物、道路等），几乎涵盖了日常红外成像的典型场景；

• 真实退化模式：通过自动变焦模拟光学散焦、通过物体运动模拟运动模糊，复刻了真实红外成像中最常见的两种退化，而非简单的数字下采样；

• 数据质量：所有图像以无损BMP格式存储，最大程度保留热辐射保真度，且每张图像标注了退化类型（散焦/运动模糊）和场景类别，为精准评估算法性能提供了支撑。

数据集的采集过程也颇具巧思：相机每次触发快门时，先自动对焦获取清晰的HR图像，再随机调整对焦环生成散焦帧，经4倍下采样得到LR图像，既保证了视点一致性，又还原了真实退化特性。

三、Real-IISR框架：让红外超分兼顾结构与热一致性

在FLIR-IISR数据集的基础上，研究团队提出了Real-IISR统一自回归框架，核心是通过三个关键模块，解决红外超分中热辐射与结构失配、复杂退化下纹理失真、热分布物理不一致的问题。

先来看框架的整体结构，清晰展示了各个模块的协作逻辑：

1. 热结构引导模块：对齐热辐射与空间结构

红外图像的核心痛点之一，是热辐射区域（比如汽车发动机的热源）与物体实际轮廓不匹配。如果直接训练模型，很容易让模型过拟合热辐射峰值，忽略真实的结构边缘，导致重建图像“热不对形”。

针对这一问题，热结构引导模块做了两件事：

• 先基于低分辨率输入，分别生成热图（提供热源语义信息）和边缘图（捕捉几何边界），并通过预训练编码器提取两类特征；

• 设计自适应加权机制，融合热辐射特征和结构边缘特征——热辐射显著的区域侧重参考热图特征，结构清晰的区域侧重参考边缘图特征；

• 再通过交叉注意力模块，将融合后的特征作为先验，引导低分辨率图像特征的重建，避免模型只盯着热峰值，保证结构轮廓的准确性。

简单来说，这个模块就像给模型装上了“结构+热”双导航，让重建结果既不丢结构、也不跑偏热源。

2. 条件自适应码本：适配空间非均匀退化

真实红外图像的退化是空间非均匀的——同一幅图里，有的区域是散焦模糊，有的区域是运动模糊，还夹杂着传感器噪声。传统的离散码本是静态的，容易出现代码选择偏差，导致纹理平滑、结构保真度下降。

条件自适应码本的核心思路是“动态调整”：不再用固定的码本嵌入向量，而是根据退化感知的先验（比如热分布、边缘结构），对码本中的每个嵌入向量做自适应调制。同一个离散索引，在不同退化条件下能解码出不同的向量，既减少了量化偏差，又增强了纹理的真实感，让模型能应对复杂多变的真实退化。

3. 热力顺序一致性损失：保证热分布的物理合理性

红外成像有个核心物理规律：温度越高，像素强度越大。但真实退化会导致热峰值漂移、局部温度压缩，单纯用逐像素的MSE损失，很难恢复物理上准确的热分布。

热力顺序一致性损失不纠结于像素绝对值，而是约束超分图像与高分辨率图像之间的“相对热序”——比如A区域温度比B区域高，重建后也必须保持这个顺序。这种设计对真实数据中常见的空间未对齐、热扩散问题更鲁棒，能保证重建结果的热分布符合物理规律，避免出现“热点错位”“温度反转”的问题。

最终，模型的总损失函数结合了标记级的交叉熵损失、像素级的MSE损失和热力顺序一致性损失，既保证了像素保真度，又兼顾了热物理一致性。

四、实验验证：性能与效率双优

研究团队在FLIR-IISR数据集（1192张训练、265张测试）和M3FD测试集上，将Real-IISR与9种主流超分方法（包括3种通用超分、3种红外超分、3种真实世界超分方法）做了全面对比，结果亮眼：

1. 定量指标

• 无参考指标：Real-IISR在FLIR-IISR的Set5、Set15子集上的MUSIQ（全局感知质量）和MANIQA（局部感知质量）均为最优，M3FD数据集上的MUSIQ也排名第一；

• 有参考指标：在PSNR（像素保真度）、SSIM（结构相似性）、LPIPS（感知相似度）上，Real-IISR在所有子集上都实现了最佳性能，验证了热结构引导和条件自适应码本的有效性。

2. 定性效果

从可视化结果能清晰看到：对比方法要么出现模糊轮廓、不稳定热区域，要么产生明显伪影；而Real-IISR重建出的图像边缘更清晰，热分布更忠实，没有多余伪影。比如水管区域的重建，红外超分方法（DifIISR/CoRPLE）易出现热边界不稳定，真实世界超分方法（VARSR/RealSR）无法保持正确温度，而Real-IISR兼顾了边缘清晰度和热均匀性。

3. 效率分析

尽管Real-IISR参数量（1144.6M）略大，但在单张A800 GPU上的推理速度达到2.45 FPS，是所有对比方法中最快的——基于扩散的方法因多步去噪速度慢，而Real-IISR的自回归架构实现了确定性生成，兼顾了性能和效率。

4. 消融实验

消融实验进一步验证了各模块的必要性：

• 移除热结构引导，会导致热辐射与边界对齐不准，边缘模糊；

• 去掉条件自适应码本，纹理稳定性和热分布一致性显著下降；

• 没有热力顺序一致性损失，会出现热峰值漂移、局部温度压缩，MUSIQ分数大幅降低。

此外，将自回归骨干替换为扩散架构后，模型性能明显下降，也验证了自回归范式更适配红外成像的离散和空间结构化特性。

五、总结与展望

这篇论文的核心贡献，一是填补了真实世界红外超分数据集的空白，FLIR-IISR为后续研究提供了可靠的基准；二是提出的Real-IISR框架，首次将热辐射先验、结构引导、条件自适应码本和热物理约束结合到自回归架构中，解决了红外超分的核心痛点。

从应用角度来说，Real-IISR能生成结构清晰、热分布物理一致的红外超分图像，可直接提升自动驾驶、安防监控、恶劣环境热监测等任务的性能。而FLIR-IISR数据集的公开，也将推动整个真实世界红外图像恢复领域的发展。

未来，研究团队还可进一步优化模型的参数量，或探索将该框架拓展到红外图像去噪、去模糊等更多下游任务中，让红外成像技术在真实场景中发挥更大价值。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：人工智能0基础学习攻略手册

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~