Nature BME：黄治等人开发AI新工具，帮助医生实现更快更准的疾病诊断

编辑丨王多鱼

排版丨水成文

2024年6月19日，斯坦福大学医学院的计算机科学家和医生合作，在Nature Biomedical Engineering期刊发表了题为：A pathologist–AI collaboration framework for enhancing diagnostic accuracies and efficiencies 的研究论文。该研究由James Zou和Thomas Montine团队合作完成，博士后黄治负责领导（现为宾夕法尼亚大学医学院担任助理教授）。

该研究开发了一个名为nuclei.io的人工智能（AI）病理标注和识别平台。

最初，研究团队希望为病理学家创建一种更方便的 AI 平台，该平台可以随着医生的使用而学习和发展——更像一个对人类反馈做出反应的真正的人类助手。由此，团队创建了nuclei.io 平台，它是一种基于 Python 架构开源的本地 AI 病理标注+诊断软件，不仅可以帮助医生更快更准地识别患病细胞，同时，任何病理学家都可以轻松定制自己的AI模型来更快更好地完成他们自己的任务。

与其它优秀的平台（比如QuPath）相似，该平台可以让医生轻松地实现基于细胞的标注和更好的诊断。独特的是，nuclei.io 在预处理、标注和诊断上做了更加个性化的优化，从而大大提高了标注和诊断的效率。此外，nuclei.io 是基于 Python 的平台，它可以让科研工作者轻松地把通过 Python 开发的 AI 模型无缝衔接到该平台上。

医生自己训练的模型可以快速应用于寻找浆细胞（plasma cell），图为 AI 发现的plasma cell（绿色框里的细胞）

James Zou教授表示，病理医生不需要任何技术背景就可以用 nuclei.io 定制他们的 AI 模型。病理医生可以在不到一个小时的使用时间内学会如何识别想要寻找的细胞并在图像上突出显示这些细胞。当斯坦福医学院的病理学家开始测试 nuclei.io 时，研究团队在分析图像时跟踪了他们在计算机屏幕上的鼠标点击，表明他们认为在哪里看到了患病细胞。

在提出 nuclei.io 平台的同时，该论文将重点放在了评估病理医生在通过 AI 的帮助下能过多大程度提高他们的诊断效率和正确率上。James Zou教授表示，当病理医生有了人工智能的帮助时，他们更有针对性地放大到大图像中的相关区域，这不再像大海捞针。

当在子宫活检图像中搜索浆细胞（以诊断子宫内膜炎）时，该团队发现 AI 辅助将诊断时间从209秒缩短到79秒。重要的是，nuclei.io 的设计目的不是单独进行诊断，而是让病理医生更快地找到需要仔细观察的区域。

相比没有使用AI（左图），使用 nuclei.io 的 AI 辅助之后（右图），医生大大提高了找到浆细胞的能力

AI会帮助而不是取代医生

论文共同通讯作者、数据科学家James Zou教授表示，我们不想让 AI 淘汰医生，而是想要一种能与医生更好合作的 AI 工具，我们发现，使用 AI 的病理医生比不使用 AI 的病理医生在诊断效率和准确率上要好得多。

论文共同通讯作者、病理学家Thomas Montine教授补充道，随着我们面临病理医生日益短缺的问题，与医生协同工作的 AI 工具有可能加快我们工作中一些较为繁琐、耗时的部分。

Nuclei.io的快速学习的能力

病理医生通过研究从身体中提取的液体或组织来帮助诊断疾病，他们经常在显微镜下面临艰巨的搜索和查找任务。他们识别出表明癌症、炎症或其他疾病的稀有细胞，但这些细胞可能被数千个健康细胞包围。学会精确定位这些细胞并做出诊断需要多年的训练。

当获得健康细胞和患病细胞的示例时，AI 工具可以快速学会区分两者，并且已经开发了许多基于 AI 的程序来分析数字病理图像。然而，一旦它们在初始数据上进行了训练，它们通常就无法改变。例如，一个训练有素的程序可能无法找到肺部癌细胞或免疫细胞，这些细胞会渗透到癌组织中，嵌入结肠中。此外，根据病理学家通常的工作流程，程序可能会精确定位比他们想要的更少、更多或不同的细胞。

Thomas Montine教授表示，病理学既是一门科学，也是一门艺术。每位病理学家对于任何特定类型的活检中的典型细胞类型都有自己的想法。过去，AI 工具无法捕捉到这些个人偏好。

医生在nuclei.io 平台上实现标注和训练AI模型

更好地照顾患者

Thomas Montine教授表示，nuclei.io 的优势之一是它可以潜在地应用在很多不同场景。它可以成为解释任何活检的强大工具，我们试图区分健康和恶性细胞。目前病理学中使用的任何其他主要 AI 工具都不是这样的。

据悉，研究团队 正在与一家初创公司合作，准备将 nuclei.io 部署到斯坦福医学健康系统及其他地方。该工具必须满足某些兼容性和安全性基准，才能在研究环境之外使用。

2023年8月，James Zou、黄治等人在Nature Medicine期刊发表了题为：A visual–language foundation model for pathology image analysis using medical Twitter 的研究论文，该论文还被选为Nature Medicine的9月刊封面论文。

研究团队利用来自推特（现在更名为X）的高质量、有注释的病理图像训练了一种基于视觉和语言的人工智能算法——PLIP，该算法通过学习超过20万张病理图像以及推特上的讨论，能够读取各种疾病（例如黑色素瘤、乳腺癌、寄生虫感染等）的图像，然后根据图像或文本检索相似的图像，从而为临床医师和医学生强大的参考工具。

黄治博士

论文第一作者黄治博士即将加入宾夕法尼亚大学医学院担任助理教授，隶属于病理学和实验室医学系，生物统计学、流行病学和信息学系。黄治实验室的愿景为开发和利用具有多模态数据的大型视觉语言模型和 AI 平台来帮助医疗诊断，精准医疗。

黄治博士在科学研究、软件开发、初创产业、以及行业关系方面拥有丰富的经验。黄治博士在医疗 AI 方面的愿景和战略目标已产生具有高影响力的研究论文和商业产品，作为第一作者，发表了包括病理Vision-language foundation model（Nature Medicine 2023，封面论文）、用于医疗诊断的human-AI collaboration（Nature Biomedical Engineering，2024）和神经退行性疾病（Nature Communications，2023）等。他的工作引起了公众媒体的广泛关注，包括《中华人民共和国科技部新闻》、《纽约时报》、《Stanford Magazine》和《Stanford Scope》等。2022 年，黄治博士联合创立了 nuclei.io——一个用于数字病理学的人机交互 AI 平台，该平台被选为 2023 年Stanford Catalyst中仅有的九项创新之一。

宾夕法尼亚大学黄治实验室拥有海量的计算资源和医疗数据，病理学系是宾夕法尼亚大学佩雷尔曼医学院两个以医院为基础的部门之一，每年进行1000万次诊断。在黄治博士的实验室中，有多个 GPU 服务器可用于开展研究，包括 NVIDIA A100、H100 等。黄治实验室和医学院其它精准医疗实验室共同欢迎海内外的优秀人才申请博士和博士后岗位。

论文：https://rdcu.be/dLgV1

代码：https://huangzhii.github.io/nuclei-HAI/

论文第一作者Dr. Zhi Huang

主页：https://www.zhihuang.ai/

论文链接：

1. https://www.nature.com/articles/s41551-024-01223-5

2. https://www.nature.com/articles/s41591-023-02504-3