CVPR 2021 | 基于进展学习的不可逆病变预测

本文是对发表于计算机视觉和模式识别领域的顶级会议 CVPR 2021的论文“基于进展学习的不可逆病变预测（Forecasting Irreversible Disease via Progression Learning）”的解读。

该论文由北京大学王亦洲课题组与北京同仁医院、北京星辰万有科技有限公司等单位合作，研究了基于眼底照片的视盘萎缩弧病变（PPA）早期预测问题。文中提出的通过进展学习进行不可逆病变的预测（DFPL）在视盘萎缩弧病变未来状态预测问题上达到很好的预测性能，并能标记出病变高响应区域。

论文链接：https://arxiv.org/abs/2012.11107

1

不可逆病变

在医学临床中，基于医学影像和各项医学检查属性的早期疾病预测可以为疾病的预诊断和早期干预提供重要依据，且有些病变一旦患病无论在患病程度或者表现在相应医学影像上都具有不可逆性，文中将具有此类特征病变叫做“不可逆病变”，不可逆病变满足以下两个医学先验特征：

1. 病情不可逆性：一旦患病后，病变将不可逆（患者将不能重返健康状态）；

2. 病情恶化性：患者在未来时间点的患病概率一定不低于当前的患病概率。

视盘萎缩弧是一个明显具有上述医学先验特点的病变。由于视盘萎缩弧病变（PPA）与儿童近视、青光眼、视网膜脱落等病变高度相关，又因视盘萎缩弧病变具有不可逆性，因此视盘萎缩弧病变早期预测对眼底病变的早期预防具有重大的意义。图1为视盘萎缩弧患者随访连续时间点眼底照片，从左至右我们可以明显观察到在图像高亮区域（视盘附近）周围的弧形萎缩区域面积不断增加。

图1. 视盘萎缩弧患者随访眼底照片信息（t123）

2

通过进展学习对不可逆病变进行预测建模

本文基于一个同仁医院内部中国小学随访数据库，数据库包含患者随访眼底照片、随访医学属性信息。问题设置为：给定当前医学影像以及医学属性信息（或部分患者具有历史病历），对未来时间点的视盘萎缩弧患病情况进行二分类预测（0/1）。预测过程中我们首先对未来患病概率进行概率模型推导，预测模型中使用残差网络模块作为特征提取器，使用多模态的时序生成网络对未来患病状态进行预测，并在特征图中实现病变区域捕捉的可视化。

图2. 模型流程图

基于上述提到的两点医学先验特点，我们将不可逆病变的预测患病概率建模为两部分：

1. 当前时间点的患病概率（病情现状）

2. 当前时间点被诊断为不患病时，未来时间点患病的概率（病情进展）

其中 为当前时间， 为患者所提供的当前时间下的眼底照片以及医学检查信息, 为目标时间点要预测的患病概率，概率公式中包括等式右边当前患病概率（Current）与病情进展（Progression）两部分，其中患病进展部分可由以下公式积分得到：

基于医学先验知识与概率公式建模，模型中将包括对当前病情状态判别器和对未来病情状态预测器，当前状态病情判别器建模为：

其中 为当前病情诊断器， 为当前时间病情提取特征， 为通过时序生成网络对未来预测时间点病情进行影像生成。

病情进展判别器建模为：

综合以上建模内容，模型训练过程通过以下公式实现：

其中 为超参。

在推理过程中， 为患者提供的医学信息，我们首先通过特征提取器 得到 ，然后通过 生成 ，最后我们在下式中将 输入 中得到最终预测结果。

以上为给定当前时间点医学影像与医学检查属性，预测未来时间点患病情况的任务建模，文中称之为一阶情况（1-order），当给定当前与历史患病检查信息时，称之为高阶（K-order，1

3

实验结果

数据集来自北京同仁医院，此项数据集中包含905名处于小学阶段的受试者，每位受试者以一年为时间间隔包含3-6个时间点的数据记录（眼底照片、各项医学检查属性如身高、户外活动时间、父母近视情况等）并由同仁医院项目参与医生对眼底照片进行视盘萎缩弧标记（0代表健康，1代表患病），共计5046条数据。数据集根据人员数量按照3：1：1比例随机分为训练集（543）、验证集（181）、测试集（181），实验结果取验证集上性能最好的模型在测试集上的性能作为模型性能。任务目标为预测以为受试者是否在六年级阶段患有视盘萎缩弧病变。

在不同给定信息的情况下，本文选择了不同的基准对照试验模型，分别为：1）直接使用残差网络（RN18）对眼底照片信息进行分类；2）使用多模态融合卷积网络（MMF-CNN）将经过残差模块的眼底照片与经过多层感知机（MLP）的医学属性信息进行融合后进行分类；3）时序相关结构学习（TCSL）通过移植对抗生成网络（GAN）对医学影像不同时间点分布进行学习，并对预测时间点医学影像进行分类；4）注意力残差网络学习（ARL）通过在残差模块中引入注意力机制，在残差模块输出信息中融入了输入信息；5）黎曼几何学习（RGL）通过对生成网络的移植将低维隐空间信息映射到处于文中所提出的黎曼流形上的高维医学观测数据，方法复现过程中，我们将RN18作为模型编码器。

由于方法3）受 GPU 显存限制（2080ti, 11GB）、方法5）的输入信息形式限制，本文分别只将方法3）与方法5）在一阶、高阶方法上作对比实验，实验结果如下：

参考文献

[1] Martha Kim et al. Longitudinal changes of optic nerve head and peripapillary structure during childhood myopia progression on oct: Boramae myopia cohort study report 1. Ophthalmology, 125(8):1215–1223, 2018. 1.

[2] Maxime Louis et al. Riemannian geometry learning for disease progression modelling. In IPMI. Springer, 2019. 1.

[3] Xiaoqian Wang, Weidong Cai, Dinggang Shen, and Heng Huang. Temporal correlation structure learning for mci conversion prediction. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 446–454. Springer, 2018.

[4] Tadas Baltruˇsaitis, Chaitanya Ahuja, and Louis-Philippe Morency. Multimodal machine learning: A survey and taxonomy. IEEE transactions on pattern analysis and machine intelligence, 41(2):423–443, 2018.

[5] Yidong Chai, Hongyan Liu, and Jie Xu. A new convolutional neural network model for peripapillary atrophy area segmentation from retinal fundus images. Applied Soft Computing, 86:105890, 2020.

[6] David Edmundo Romo-Bucheli, Ursula Schmidt-Erfurth, and Hrvoje Bogunovic. End-to-end deep learning model for predicting treatment requirements in neovascular amd from longitudinal retinal oct imaging. IEEE Journal of Biomedical and Health Informatics, 2020.