科学家打造深度学习模型，模拟人类病理学家审查活检样本

在人工智能时代，许多医疗工作者梦想拥有一个数字助手，不受疲劳、工作负担、倦怠和饥饿的影响，为医疗决策提供快速的第二意见，包括诊断、治疗方案和处方。

如今，计算能力和人工智能技术已经具备开发这样的助手的条件。然而，复制经过专门培训且经验丰富的病理学家、放射科医生或其他专家的专业知识并不容易。尤其是，人工智能算法需要大量数据来创建高精度模型。数据质量越高，效果越好。

对于病理学家来说，一种叫做逐像素手动标注的方法可以有效训练人工智能模型，准确诊断组织活检图像中的特定疾病。然而，这种方法需要经过培训的病理学家对组织活检图像中的每个像素进行标注，勾勒出机器学习模型训练的兴趣区域。在这种情况下，病理学家的标注负担显而易见，限制了高质量数据的生成，从而影响了最终模型的诊断精度。

为了解决这一挑战，由中国医科大学第一医院和沈阳免疫皮肤病治疗学国家联合工程研究中心的MedSight AI研究实验室的科学家们领导的研究团队开发了一种方法，利用眼动追踪设备对活检图像数据进行标注，显著减少了手动注释组织活检图像中每个感兴趣像素的负担。

研究人员在7月1日发表了他们的研究，刊登在Nature Communications上。

“为了在减轻病理学家工作量的同时获取他们的专业知识……我们收集了病理学家在使用眼动追踪设备时的图像审查模式。同时，我们设计了一个基于收集到的视觉模式的深度学习系统，病理学专业知识获取网络（PEAN），能够解读病理学家的专业知识，并对整个切片图像进行诊断，”东北大学医学院和生物信息工程学院的MedSight AI研究实验室副教授、研究论文的资深作者崔晓宇表示。

具体来说，研究小组假设，在病理学家审查组织活检图像时，通过眼动追踪设备获得的视觉数据可以教会AI模型在活检图像中哪些区域特别重要，从而提供一种比逐像素标注更省力的替代方案。通过更轻松的方式提取病理学家的专业知识，并生成更多数据以开发和训练更准确的深度学习辅助诊断模型。

为了实现这一目标，研究小组使用定制开发的软件和眼动追踪设备收集了病理学家的幻灯片审查数据，这个设备记录了病理学家的眼动、对整个幻灯片组织图像的缩放和移动，以及每个样本的诊断。总共审查了5,881个组织样本，涉及五种不同类型的皮肤病变。

PEAN系统通过比较眼动追踪数据和相同组织活检图像的手动像素标注数据，模拟病理学家的兴趣区域，从而计算组织样本中所有区域的“专业值”。利用这些训练数据，PEAN模型可以预测每个活检图像中可疑的区域，模仿病理学家的专业知识（PEAN-I）或训练模型来分类组织样本的诊断（PEAN-C）。

值得注意的是，PEAN-C 在分类其训练过的样本时达到了 96.3% 的准确率和 0.992 的曲线下面积（AUC），而在系统未训练的组织样本上，准确率为 93.0%，AUC 为 0.984。PEAN-C 成功地超越了第二最佳 AI 分类的准确率，提升了 5.5%，使用的是相同的外部测试集。

PEAN-I 系统通过模仿病理学家的专业知识，还能额外选择一些感兴趣的区域，从而帮助其他学习模型更准确地诊断组织图像。当另外三种学习模型 CLAM、ABMIL 和 TransMIL 用 PEAN-I 生成的组织样本图像进行训练时，准确率和 AUC 显著提高，经过配对 t 检验，p 值分别为 0.0053 和 0.0161。

崔说：“PEAN 不仅是一个基于深度学习的新诊断系统，更是一个有潜力改变现状的开创性范式。它可以提取和量化人类的诊断专业知识，从而克服主流模型常见的缺陷，比如高人力资源消耗和医生信任度低。”

研究团队承认，他们仅开发了PEAN在帮助医疗提供者进行疾病分类和病变检测方面潜力的一小部分。未来，作者希望将PEAN应用于多种下游任务，比如个性化诊断、生物仿人和多模态大型预测模型。

崔说：“至于最终目标，我们旨在为每位资深病理学家开发一个独特的‘复制数字人’，使用PEAN和大型语言模型，……这得益于PEAN的两个主要优势：低数据收集成本和先进的概念设计，这使得大规模多模态数据收集变得轻而易举。”

更多信息请见： Tianhang Nan等，深度学习量化病理学家的视觉模式，用于全幻灯片图像诊断，期刊《自然通讯》（2025）。 DOI: 10.1038/s41467-025-60307-1