上海交大与清华联手发布DeepDR Plus，仅用眼底图像可预测5年内糖尿病视网膜病变进展

大数据文摘授权转载自HyperAI超神经

作者：田小幺

编辑：李宝珠、三羊

1996 年，被誉为爵士乐第一夫人的 Ella Fitzgerald 在位于洛杉矶比弗利山庄的家中去世。这位天才歌手曾获得 13 个格莱美奖、超 4000 万专辑销量，最终却在糖尿病视网膜病变 (diabetic retinopathy, DR) 的影响下郁郁而终。如今，糖尿病已被我国列为四类重大慢性病之一，每 10 人中就有 1 位糖尿病患者。而根据贾伟平院士在 2023 年 7 月发表的研究数据，我国现约有糖尿病视网膜病变患者 1950 万。

数据来源：

https://www.nature.com/articles/s41467-023-39864-w

一般而言，糖尿病视网膜病变在早期隐匿性较强，无症状发展，但晚期患者几近失明，并且不可逆，已成为 20-74 岁成年人可预防性失明的主要原因。糖尿病视网膜病变通常进展缓慢，但又受到多重风险因素影响，发病及病程进展风险在不同个体间存在较大差异，所以准确诊断并评估发展风险成为困扰医生及患者的一大挑战。

随着 AI 在医学领域发挥着愈发重要的作用，深度学习与卷积神经网络已经被用于从视网膜照片中，自动检测糖尿病视网膜病变，但却很少能够前瞻性的预测风险。

为此，上海交通大学主动健康战略与发展研究院院长、上海市第六人民医院内分泌代谢科、上海市糖尿病重点实验室贾伟平教授和李华婷教授团队，上海交通大学电院计算机系/教育部人工智能重点实验室盛斌教授团队，和清华大学副教务长、医学院主任黄天荫教授团队，构建了基于时序影像序列深度学习的糖尿病视网膜并发症预警系统 DeepDR Plus，仅基于眼底图像便可预测糖尿病视网膜病变在 5 年内的进展。

研究亮点：

* 开发并验证了一个深度学习系统 (DeepDR Plus)，仅通过眼底图像即可预测糖尿病视网膜病变进展

* 该系统被应用于中国和印度的真实临床案例，可将临床应用的平均筛查间隔从 12 个月延长至 31.97 个月

* 该系统可在大幅降低筛查频率和公共卫生成本的情况下，仍保持极低的漏诊率

论文地址：
https://doi.org/10.1038/s41591-023-02702-z
数据集一键下载：
https://hyper.ai/datasets/29716

数据集：中国和印度的临床数据

首先，为了学习与糖尿病视网膜病变相关的特征，DeepDR Plus 系统使用来自上海综合糖尿病预防和护理系统（上海综合模型）和上海糖尿病预防计划 (SDPP) 的 179,327 名糖尿病患者的 717,308 张眼底图像进行预训练。

其中，SDPP 是一项以社区为基础的纵向队列研究，包括 79,284 名参与者，他们于 2015 年 12 月至 2022 年 11 月在华东疗养院和上海第六人民医院接受了体检，其中有 25,231 名参与者完成了至少 4 年的年度随访。

随后，研究人员在一个内部数据集中开发并验证了该模型，这一内部数据集由来自糖尿病视网膜病变进展研究 (DRPS) 队列的 19,100 名糖尿病患者的 76,400 张眼底图像组成，研究人员将 DRPS 队列以 9:1 的比例分为发展数据集和内部测试集，并使用了 8 个独立的纵向队列进行外部验证。

DeepDR Plus 系统设计

为了评估整合临床工作流程的 DeepDR Plus 系统的有效性，该研究还在一项基于社区的中国成年人前瞻性队列研究中，进行了一项实际研究，共有 2,185 名参与者被纳入分析，其中 538 名参与者在综合管理 (IM) 组（综合医院-社区糖尿病管理项目），1,647 名参与者在非 IM 组。同时，为了进一步评估与临床工作流程整合的结果，该研究还在印度前瞻性队列 (SN-DREAMS) 中进行了一项基于现实世界的研究，其中 992 名糖尿病患者接受了连续 4 年的随访。

模型：仅用眼底图像可有效预测疾病进展

DeepDR Plus 系统包含三种预测糖尿病视网膜病变进展的模型：元数据模型、眼底模型和组合模型。其中：

眼底模型利用 ResNet-50 作为 Backbone，从眼底图像中提取特征，并使用软注意 (soft-attention) 层选择信息量最大的特征。该研究首先使用动量对比 (Momentum Contrast, MoCo,v2)，利用自监督学习来创建预训练的特征提取器，用于从眼底图像中提取特征。同时，该研究还使用一致性指数 (concordance index, C-index) 和 IBS (integrated Brier score) 评估模型预测参与者未来 5 年的糖尿病视网膜病变表现。

元数据模型输入元数据以生成生存预测，包括年龄、性别、吸烟状况、糖尿病病程、基线 DR 水平、体重指数、糖化 HbA1c、收缩压、舒张压、甘油三酯、低密度脂蛋白胆固醇和高密度脂蛋白胆固醇。

组合模型则同时输入眼底模型的眼底评分与元数据。

在内部验证中，对于患者糖尿病视网膜病变进展的预测，元数据模型、眼底模型、组合模型的一致性指数分别为 0.696、0.823、0.833。结果表明，组合模型的性能与眼底模型相似，优于元数据模型。这证明了眼底模型的准确预测性能。在 8 个独立的外部数据集中，模型在预测糖尿病视网膜病变进展方面取得了相似的性能，这表明 DeepDR Plus 系统具有高一致性和强定标性。

眼底模型预测 DR 进展的内外验证

为了确定患者应该何时寻求眼科医生帮助评估 DR 发展程度，该研究还进行了 3 个亚组分析，进一步证明 DeepDR Plus 系统预测能力。3 个亚组包括无视网膜病变的糖尿病转至 DR（亚组 1），无需转诊的 DR 至需要转诊的 DR（亚组 2），非视力威胁 DR 转至视力威胁 DR（亚组 3）。

该研究面向三大亚组分别使用 DeepDR Plus 系统，通过基线视网膜图像来预测 5 年内不同类型的 DR 等级恶化。结果表明，元数据模型在三大亚组的一致性指数为 0.700-0.711，IBS 为 0.261-0.328；眼底模型的一致性指数提高至 0.826、0.820、0.824，IBS 下降到 0.153-0.189；组合模型的一致性指数为 0.835-0.852，IBS 为 0.145-0.167。

此外，该研究还评估了眼底模型在外部数据集的预测性能，并取得了与内部数据集相当的结果。结果表明，单独使用眼底图像可以有效预测疾病进展。

模型在内部测试集和外部数据集的验证

AI 驱动的个性化筛查间隔

在该研究中，IM 组定期接受临床检测和代谢测量，并由综合医院的专家提供指导建议。因此，该研究又将 IM 组和非 IM 组分别分为低风险组和高风险组，并通过 DeepDR Plus 系统中的眼底模型和元数据模型评估所有参与者。

IM 组和非 IM 组的研究流程图

在非 IM 组中，与元数据模型相比，眼底模型高风险组患者更容易发展为糖尿病视网膜病变，眼底模型低风险组患者的糖尿病视网膜病变的可能性更低。

风险识别模型与参与者结果之间的关系

此外，与固定的年度筛查相比，该研究还评估了元数据模型或眼底模型推荐的个性化筛查方案的性能。如果 IM 组和非 IM 组的所有参与者都遵循眼底模型给出的推荐个性化筛查间隔，平均筛查间隔可以从 12 个月延长到 31.97 个月。与元数据模型相比，眼底模型可以实现相似的筛查频率降低，同时可明显降低 DR 的延迟检测率。另外，与非 IM 组相比，使用眼底模型推荐的筛查间隔，IM 组患者任何 DR 进展的延迟检测率均较低 (0.37% 对 1.28%)，这表明无论未来的干预措施如何，DeepDR Plus 系统都可以保证降低 DR 的延迟检测率。

预测从无视力威胁DR发展到视力威胁DR的Kaplan-Meier图

综上所述，与元数据模型相比，眼底模型可以更准确地对参与者进行分层，从而实现个性化干预，减少 DR 筛查频率，同时减少延迟检测 DR 进展的时间。

糖尿病视网膜病变 AI 诊断，中国处于第一梯队

近日，AGILE 全球人工智能治理评估指数正式发布，首次评估解码全球人工智能治理新格局。评估结果显示，在人工智能发展水平方面，美国和中国在总量上处于领先地位。

AGILE全球人工智能治理评估指数排名

得益于国内人工智能技术的快速发展，我国在人工智能辅助医疗领域进展喜人，仅在细分的糖尿病视网膜病变的筛查方面就可与美国并驾齐驱。早在 2013 年，上海交大医学院附属第六人民医院贾伟团队平及李华婷团队，就联合上海交大计算机系盛斌团队，开始围绕糖尿病视网膜病变特征的自动提取技术展开探索。

到了 2016 年，谷歌采用深度学习系统经过大量的糖尿病视网膜病图片数据训练之后，精准诊断出中重度 DR，成果发表于《美国医学会杂志》(JAMA)。

在谷歌的启发下，时任新加坡国家眼科中心主任的黄天荫感到震撼。同时，黄天荫认为谷歌的研究仍然具有缺乏多种族验证的局限性。2017 年，黄天荫及新加坡国家眼科中心团队成功研制了新的深度学习系统，率先在多种族多国队列上有效地诊断出 DR 以及其他相关眼科疾病，成果后续也发表于 JAMA 期刊。

同样是 2017年，杭州卫计委率先启动糖尿病视网膜病变筛查项目，引入了基于人工智能辅助诊断的便携式眼底照相机，以解决基层专业医疗资源缺乏的问题。同时，国内也有多家人工智能医疗设备进入市场，为更多患者带来疾病治愈的新希望。

到了 2018 年，贾伟平团队与黄天荫团队合作，联合新加坡国家眼科中心等国际一流学术机构，获批组建上海市代谢相关疾病智慧防控「一带一路」国际联合实验室，开展糖尿病防治领域的合作。

尽管一切都发展的如火如荼，但 AI 诊断系统并未立即在临床诊疗中得到进一步验证。2020 年，谷歌团队更是发布报告表示，其糖尿病视网膜病变 AI 诊断系统在泰国临床落地应用中表现出强烈的「水土不服」，超五分之一的图像因为清晰度问题被系统拒绝识别，护士们不得不重拍照片，患者也辗转至其他医院就诊，相关 AI 系统在泰国的 11 家诊所落地后被排斥。

而当 AI 诊断系统在海外临床遇阻的同时，国内 AI 诊断系统却开始迎来高速发展期。2020 年 8 月，我国首批基于深度学习技术的糖尿病视网膜病变眼底图像辅助诊断软件获批上市。2021 年，南开大学发布了 CABNet (Category Attention Block)，还提出了 Global Attention Block，只需少量附加参数，就能显著提高现有深度架构的性能，并在 DR 分级方面取得优异表现。

同样是 2021 年，贾伟平团队携手盛斌团队重磅推出 DeepDR 系统，能够精准区分从轻度到增殖期不同程度的视网膜病变，核心成果获中国授权发明专利 3 项、美国授权发明专利 1 项，并在全国多地医院落地使用。也是这一年，黄天荫就任清华大学讲席教授。上海交通大学与清华大学的医工交叉团队开始对糖尿病 AI 辅助管理技术和临床实践开展了更为紧密的多学科合作与协同攻关，这也为双方此前的研究按下加速键。

如今，DeepDR Plus 系统的面世，极大提高了发展中国家眼底摄片筛查的效率、公平性和可及性，为全球中低收入国家和地区的糖尿病管理模式的提质增效与改革创新开辟了新道路。在不久的将来，人工智能也必将为更多糖尿病患者带来治愈的新希望。

参考资料：
1.https://new.qq.com/rain/a/20240123A05OOZ00
2.https://m.thepaper.cn/baijiahao_20929983
3.https://baijiahao.baidu.com/s?id=1791412684120469650&wfr=spider&for=pc
4.https://www.nsfc.gov.cn/csc/20340/20343/57820/index.html

租！GPU算力

新上线一批4090/A800/H800/H100

特别适合企业级应用

扫码了解详情☝