八年心血力作！李飞飞团队：用“环境智能”照亮医疗黑暗空间，登顶《Nature》！

历时八年，李飞飞团队又一重磅科研成果出炉！

9月9日，斯坦福大学计算机系教授李飞飞，与斯坦福医学院教授 Arnold Milstein ，以及其博士生Albert Haque 联合署名的一篇学术论文登上了顶级学术期刊《Nature》。

该论文名为《利用环境智能照亮医疗的黑暗空间》，旨在通过人工智能与非接触式传感器的结合实现环境智能，以潜在地改善医疗保健服务的物理执行。

论文被《Nature》收录后，李飞飞在朋友圈透露，这篇论文是两代博士生、10几位本科/硕士/博士/博士后，以及近10位斯坦福医学院医生和教授，历经8年心血共同打造而成。

与此同时，她也表示，

“AI Sensors”（人工智能传感器）必将对病患治疗，养老和医疗服务产生深远影响，而我们的研究仅仅是走出的小小一步。

李飞飞在加入AI医疗浪潮之初，就将目光聚焦到了“AI Sensors”。在她看来，智能传感器、AI算法以及相关技术的进步为智慧医疗带来全新的可能性。

此前，她曾与Arnold Milstein教授展开过深度合作，尝试在ICU场景中引入智能传感器，以改善医护人员因系统低效、成本高、人手不足等问题可能带来的安全威胁，这一解决方案在多家医院进行了测试。

同样地，本次科研成果依然以智能传感器为核心，但其解决方案是面向医院和日常生活的物理空间，实现更大范围的环境智能。

基于“环境智能 ”的AI医疗解决方案

所谓环境智能，即通过机器学习和非接触式传感器能够对人类存在做出敏感反应和反馈的电子空间。它对于医院和日常生活空间有着极大的应用价值。

比如在医院领域，可以实现更高效的临床工作流程，改善重症监护病房和手术室的患者安全；在日常生活中，通过了解日常行为改善慢性病患者管理，提高老年人的独立性等。

具体来说，机器学习和传感器可以通过计算机辅助理解医疗活动，并以此补充现有临床决策支持系统。被动式、非接触式传感器在嵌入环境之后，可以形成一种环境智能，能够感知人们的活动并适应其持续的健康需求。如下图：

• 深度感应器（Depth Sensor）：测量目标物体的距离。

• 温度传感器（Thermal Sensor）：测量表面温度。

• 无线电传感器（Radio Sensor）：估计距离和速度。

• 声传感器（Acoustic Sensor）：测量空气压力形成的声波。

与现代智能驾驶系统类似，这种环境智能可以帮助临床医生和家庭护理人员改善身体运动，这是现代医疗保健的关键一步。临床物理行动支持已经实现了更好的制造、更安全的自主车辆以及更智能的运动娱乐，而物理空间也可以将生物医学中的快速流动转化为无差错的医疗保健服务。

当然，与其他技术类似，大规模转换为临床应用必须克服严峻的临床验证，适当的数据隐私以及模型透明性等挑战。

论文中，研究人员通过几个示例性的临床使用案例和患者结果，验证了其研究算法和可行性和有效性，并且进一步讨论了更广泛的社会和道德因素，包括隐私，公平，透明等问题。

AI传感器助力多维度医疗空间

2018年，约有7.4%的美国人需要过夜的医护人员。同年，英国国家卫生服务局（NHS）报告了1700万入院病例，医护人员超负荷工作，人手不足，资源有限的问题已经相当严峻。

李飞飞研究团队认为，环境智能可以在缓解临床服务的压力，提高医疗服务质量和效果方面发挥重要作用，并且可应用于多个医疗空间中。

• 重症监护室（ICU）

环境智能在其中发挥作用的一个用例是计算机辅助患者运动监测。

据统计，在美国，重症监护病房每年需要花费1,080亿美元，占医院总费用的13％。在重症患者中，神经肌肉损害可能导致一年死亡率增加两倍，住院费用增加30％，尽早动员患者接受环境智能的监测可使得相对发生率降低40％。

目前，面对面评估的方法存在成本高、观察者偏见以及人为失误等问题的限制，而非接触式环境传感器可以有效地解决以上问题，并提供连续且准确的患者运动数据。

在一项开创性研究中，研究人员在ICU室中安装了环境传感器（Ambient Sensors），从八名患者中收集了362小时的数据。

与三位医师的人工检查相比，机器学习算法将患者运动分为床内活动，床外活动和步行活动，其准确性达到了87％。

此外，在另一项更大的测试中，研究人员在八个ICU病房中安装了深度传感器，其算法在379个视频上训练了卷积神经网络，并将移动性活动分为了四类。

当在184个视频的样本数据集上进行验证时，该算法显示出87％的灵敏度，以及89％的特殊性。

• 手术室

利用环境摄像机检测算法，降低手术事故的发生频率。

在全球范围内，每年大约会有超过2.3亿次手术，其中，14％的患者会发生医疗事故。如果有更快更有效的手术反馈系统，可以显著地将发生的概率降低到50%。

环境摄像机是一个不错的方式。在一项前列腺切除术中，研究人员通过视频训练卷积神经网络来跟踪手术中的针头驱动器，结果与12位外科医生的手术相比，其准确度达到了92％。

另外，在一项胆囊切除手术中，研究人员使用了十种方式的切除视频来重建手术过程中器械的运动轨迹，其能够达到专家级外科医生的水平。

重要的是，在手术室中，环境智能不仅限于内窥镜影像（Endoscopic Videos），还可以用于物品计数。如监控手术器械，防止其意外地留在患者体内，或者计算人员，通过吊装式摄像头跟踪手术成员的身体部位，其误差可以低至5cm。

• 其他医疗空间

每次病人就诊期间或之后，医生都要进行记录。有数据统计，临床医生将35%的时间花都在了整理医疗文件上，这导致患者医疗时间的缩短，以及管理成本的提高。应对这一问题，环境麦克风（Ambient Microphones）是一种有效地解决方案。

在一项研究中，研究人员收集了病人与医生之间的90000次对话，在产生的14000小时的门诊音频上进行了深度学习训练，结果该算法显示单词的转录准确率达到了80%。而且就临床实用性而言，一位医护人员发现，检测眼镜上的麦克风将记录文档的时间从2小时缩短到15分钟，其与患者相处的时间增加了一倍。

从管理的角度来看，环境智还可以改善基于活动的成本核算。目前，员工观察、访谈与电子健康记录被用于将临床活动，并与成本相关。如之前所说，环境智能可以自动识别临床活动、统计医护人员以及估计活动持续时间。但目前还缺乏环境智能用于成本核算方面的数据验证。

老年人独立生活的智慧化解决方案

全球人口老龄化的趋势正在逐年增加，据统计，到2050年，世界65岁以上的人口将从7亿增加到15亿。

在缺乏子女照料的情况下，独居老人的日常生活管理，包括洗澡/穿衣/饮食，慢性病管理，以及身体康复等问题都显得格外重要。

• 日常生活自我管理

通过环境智能提供及时的临床护理，可以将日常生活能力提高2倍，并且降低每年的死亡率。传统日常生活管理的方法是通过自我报告/照料者手工评分完成的，经常会出现主观偏见、测量不及时等问题。

非接触式环境传感器可以检测老人在更大范围的活动，同时还可以检测到心率、血糖水平和呼吸频率等一些更细微的临床数据。

而在另一项不同的研究中，研究人员从老年人的家中收集了10天的视频，也得出了相似的结果。比如麦克风检测淋浴和如厕活动，准确率分别为93%和91%。

然而，这些研究仅是在少数环境中的测验结果，日常生活空间是高度可变的，因此广泛应用还存在一定的挑战。此外，隐私也是一个重要问题。如果这项技术应用到日常生活空间，其开发和验证隐私安全系统至关重要。

此外，老年人独立生活的另一应用是摔倒检测（Fall Detection）。有数据统计，大约29%的社区居民每年至少跌倒一次，而跌倒后躺在地上超过一小时以上，其死亡率会增加5倍。

几十年来，研究人员开发了带有可穿戴设备和非接触式环境传感器的坠落检测系统。经测试发现，可穿戴设备检测跌倒的准确率为96%，而环境传感器的准确率为97%。

而当二者结合使用时，深度传感器的跌倒检测精度从90%提高到98%，这表明非接触式传感器和可穿戴式传感器之间存在潜在的协同效应。

此外，研究人员将深度传感器用于16所老年公寓进行了为期2年的试验测试，结果显示，传感器每月产生一次误报，摔倒检测率为98%。同时，环境传感器能够及时向辅助生活社区的护理人员提供实时电子邮件警报，与其他老年人的数据对比，其实时干预的方式显著减缓了86名老年人的功能衰退。

• 慢性病管理

步态分析（Gait Analysis）在身体康复和慢性病管理中，是诊断和测量治疗效果的重要工具。

经过实验研究表明，使用加速计（Accelerometers）来估算30名慢性肺病患者的临床标准（6分钟102步），其平均错误率为6％，而且可穿戴设备附着在身体上，也给患者带来不便。相反，非接触式传感器可以持续测量步态，提高保真度，并创建交互式的家庭康复程序。

一项研究使用深度传感器测量了9名帕金森病患者的步态模式。研究发现，深度传感器可以跟踪膝盖的垂直运动，其误差仅在4厘米以内。

而在另一项研究中，研究人员使用深度传感器为脑瘫患者制作了一个运动游戏。经过24周的测试，使用游戏的患者的平衡和步态提高了18%。而如果将麦克风与可穿戴传感器结合使用，其步态检测可以从3%提高到7%。

• 心理健康

抑郁症、焦虑症和双相情感障碍等精神疾病影响着美国4300万成年人，欧盟1.65亿人。据估计，56%患有精神疾病的成年人由于经济问题，或者可获得性障碍而没有寻求治疗。

环境传感器可以为检测认为提供连续且经济的症状筛查方法。在一项研究中，研究人员在30分钟半结构化临床访谈中收集了69个人的音频、视频以及深度数据。利用这些数据中患者的言语、上身运动，机器学习算法检测出46名精神分裂症患者，阳性预测值为95%，敏感性为84%。

同时，环境传感器还可以进一步为其心理治疗提供更便宜、更高质量的解决方案。在一项研究中，研究人员使用麦克风和语音识别算法，从200个数据集（均为20分钟的访谈）中转录和评估了心疗愈师的方法，与人类评估委员会为标准，该算法的准确率为82%。

总体而言，虽然通过实时监测与反馈，环境智能可以减少医护人员意外的临床错误，帮助患者实现疾病筛查与诊断，协助老年人提高日常生活自理能力，但其技术在现实场景和应用，以及更大范围内的应用还存在诸多挑战和机遇。

主要存在于两个层面：

• 识别复杂场景中的人类行为：需要进行跨机器智能的多个领域进行研究，例如视觉跟踪，人体姿势估计以及人与物体的交互模型。

• 应对临床环境中的大数据和罕见事件：这需要新的机器学习方法，以能够对罕见事件进行建模并处理要开发的大数据。

随着人工智能技术的不断发展，数据隐私越来越成为一个敏感话题。李飞飞团队表示，其是在考虑到隐私和安全的情况下来开发这项技术的，而且不仅在技术本身方面，在开发过程中所有利益相关者的持续参与方面也是如此。

如图展示了一些现有的和新兴的隐私保护技术。一种方法是通过删除个体身份来反标识数据。另一种方法是数据最小化，它将数据捕获、传输和人员兼捕最小化。当一个病房无人时，环境系统检测可能会暂停，但即使数据被取消识别，也可以重新识别个体。超分辨率技术可以部分逆转面部模糊和降维技术的效果，从而有可能实现重新识别。这表明数据应保留在设备上，以减少未经授权访问和重新识别的风险。

此外，一些医疗保健组织仍然存在与数据代理等第三方共享患者信息的情况。为了缓解这种情况，患者应主动要求医疗保健提供者采用隐私保护措施。另外，临床医生和技术人员必须与关键利益相关者（例如，患者、家人或护理者）、法律专家和决策者合作，以开发环境系统的治理框架。

除了隐私方面，李飞飞团队也考虑到了人工智能可信赖性的其他三个方面，包括公平，透明以及研究伦理。不过，他们表示，解决以上四类因素，需要医学，计算机科学，法律，道德以及公共政策等领域的专家之间的密切合作。

关于更多内容，请参见论文：https://www.nature.com/articles/s41586-020-2669-y.pdf

引用链接：雷锋网雷锋网雷锋网

https://www.nature.com/articles/s41586-020-2669-y