Nature Medicine | 谷歌又来了！增强现实（AR）显微镜助力病理AI实时检测癌症

医疗人工智能 前沿进展！

　　 【DeepCare前线】 谷歌进军医疗AI已有多年，并且成果颇丰，特别是在学术上常常能看到谷歌的杰作。2019年8月12日，由谷歌设计研发的增强现实显微镜系统（ARM）—— Microscope 2.0 登上顶级期刊 Nature Medicine （最新 IF=30.6 ）。该系统由一个经过改良的光学显微镜组成，这个显微镜能够对图像进行实时分析并直接在视野中呈现机器学习算法的分析结果。更重要的是，只需使用低成本、现成的组件，就可以将 ARM 安装到普通的光学显微镜中，无需对数字系统进行全面升级就可使用。

　　在当前各大互联网大厂纷纷进军医疗AI领域的背景下，一场谷歌的野望正在上演。从电子病历、DNA测序，到医学影像、数字病理，因其在人工智能（AI）方面的专业优势，谷歌迅速取得了各方面的重大突破。

　　 2019年4月4日 ，谷歌 Jeff Dean 等人在新英格兰医学杂志（ NEJM ，最新 IF=71 ）撰写 医疗机器学习综述 ，展示了谷歌用人工智能改变医疗的野心，拉开了2019年的学术研究序幕。（点击文末图片阅读） 2019年5月20日 Nature Medicine 上发表肺癌人工智能筛查研究，结果显示AI的肺癌筛查准确率可以超越医学专家。（点击文末图片阅读） 2019年7月31日 ，谷歌 DeepMind 再登顶级期刊 Nature （最新 IF=43 ），发布一种新的人工智能算法，可以提前两天预测到一种可避免的病变。而 DeepMind 正因 AlphaGo 2019年8月12日 ，谷歌在Nature Medicine上再发文章，介绍了其设计研发的一款新的病理检测系统。这次主要的突破是在硬件上，将增强现实技术引入到了显微镜，使得只有普通复式光学显微镜的病理科也能用上病理AI技术。

　　增强现实显微镜系统（ARM）实物图：主要包含三个部分——显微镜、计算机图像处理（AI算法）模块和增强现实显示模块
增强现实（Augmented Reality，AR） 技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。 由之前的研究可以看出，数字病理AI算法已经具有极高的准确性，可以应用于真实世界的诊断中 。但是，应用这些算法需要先将病理切片扫描成全视野数字化切片（Whole Slide Image，WSI），而这种设备因成本高昂只有少数医院拥有。增强现实的引入，无疑降低了使用门槛，可谓医疗AI里程碑。
据了解，谷歌早在去年就发布了这款增强现实癌症检测显 微镜，并在美国癌症研究协会 ( AACR ) 年会上作了口头汇报，称 其为 Microscope 2.0 ，相关文章已于2018年11月21日以预印版形式发表。

文章研究显示，经过ARM处理后直接观察到的图像已经附上了各种注释信息，比如文字、箭头、轮廓、热图或动画等，并且原始的图像并未被修改，使得观察更加方便且可靠。同时，该系统可以运行多种类型的机器学习算法以解决对象检测、量化和分类等不同问题。研究人员以乳腺癌淋巴结转移和前列腺癌为例，对ARM系统进行了检验和演示。

　　ARM系统输出结果

　　首先，研究人员使用来自50张淋巴结WSI的1000个视野和34张前列腺组织WSI的1360个视野，对人工智能算法进行训练。结果显示， 在10倍镜下对淋巴结转移的检测时，AUC值可以达到0.92； 而在20倍镜下，AUC 达到0.97。对于前列腺样本的检测，10倍镜下， AUC值 是0.93，20倍镜下 AUC值 达到了0.99。

ROC曲线评估算法性能

　　虽然这两种癌症模型最初都是在由一个具有完全不同光学配置的整个玻片扫描仪所获得的图像上进行训练的， 但这些模型在 ARM 上表现非常出色，无需额外的重新训练 。 如果通过从 ARM 本身获取的数字图像上进行附加训练，可以进一步提高这些模型的性能 。

4x、10x、20x 和 40x 放大倍数下的淋巴结转移模型 可以预见，ARM 将对全球卫生事业产生重大影响，尤其是在发展中国家/地区的传染病诊断方面，包括结核病和疟疾等。此外，即使在即将采用数字病理学工作流程的医院中，ARM 也可与数字工作流程结合使用，因为在数字工作流程中，扫描仪仍面临重大挑战或需要实现快速周转（如细胞学、荧光成像或手术后的冷冻切片）。当然，光学显微镜已经在病理学以外的很多行业证明了自身价值，相信 ARM 可以应用于医疗、生命科学研究和材料科学等众多领域。

　　正如文章所言， We anticipate that the ARM will remove barriers towards the use of AI designed to improve the accuracy and efficiency of cancer diagnosis ！

　　参考内容：

　　【1】An augmented reality microscope with real-time artificial intelligence integration for cancer diagnosis. Nature Medicine，2019.

　　【2】Clinical-grade computational pathology using weaklysupervised deep learning on whole slide images. Nature Medicine，2019.

　　【3】增强现实综述. 中国图像图形学报，2004.

　　本文为DeepCare前线公众号原创，转载需联系授权。