“幻觉”“偏见”藏隐患 医学AI如何守住边界？

上海“十五五”规划建议指出，要推动科技创新和产业创新深度融合。上海将人工智能与生物医药作为先导产业，明确强调AI在医疗等领域的深度应用，为医学AI的发展提供了坚实的政策导向支撑。

年初，被喻为海外“医生版ChatGPT”的“OpenEvidence”估值超过百亿，成为全球医疗AI领域的标杆。而国内的这条赛道上，也是各类工具井喷式爆发，科技巨头、药企、创新企业纷纷入局。

眼下，医学AI工具已经覆盖影像辅助诊断、临床辅助决策、智能病理分析、智能手术介入、中医AI工具、药物研发与精准医疗等场景。

层出不穷的医学AI产品，却也令人疑虑难消：AI医生会不会出现大模型常见的“幻觉”？数据是否可靠安全？实操中有否有系统失控风险？

医疗事关健康和生命，一丝一毫不容轻忽。真人医生靠几年、几十年积累经验做诊断，AI医生几秒就出诊断是否靠谱？有政协委员就提出，目前，医疗AI产品在伦理、应用安全等方面还存在灰色地带。

前不久，上海爱尔眼科医院副院长李勇在朋友圈里，讲述了一位患者在白内障手术后擅自停滴眼药水，导致视力下降、角膜出现轻微褶皱的案例。一问原因，是患者听信了AI“眼药水有副作用”的说法。这名患者还振振有词：AI综合了很多专家的意见，相信它更权威。

李勇医生指出，所谓“眼药水有副作用”是有前提条件的，比如长期 使用含激素的眼药水、或者患者本身有相关禁忌症。但这名患者，应当按照临床指南，在白内障手术后2周左右的康复期内，使用抗炎和含激素眼药水，停用反而不利于伤口恢复。

李勇分析指出，AI会捕捉网上能看到的所有信息，但它不会分辨特定患者的症状和主诉，AI的建议是不能凌驾于医嘱之上的。

而这，并不是个例。上海市政协委员、复旦大学附属口腔医院院长蒋欣泉提醒患者，当前企业开放给公众使用的通用型AI工具，生成的内容，不能被用作 实际的临床诊断和治疗方案。

蒋欣泉也介绍了个别患者误将AI健康建议当成“诊断意见”的案例。一位患者因为口腔黏膜火辣辣的，舌根长了包块，通过AI搜索自查，发现有恶性肿瘤的可能性，于是陷入了巨大的焦虑和恐慌。但当他忐忑地去到医院就诊时才发现，患上的是只是黏液性囊肿。口腔诊断依赖视诊、触诊、叩诊、牙周探查等方法，当前的AI助手，往往是基于概率或者是文本匹配生成，缺乏医学的严谨性和个性化的考量。

简而言之，通用型AI的“智能”是通过全网爬取组合文字信息，网罗的知识也往往受搜索所限，存在一定的滞后。

AI在医学领域的应用已经从概念走向实践，展现出巨大的潜力和价值。但实践的道路并不平坦，数据安全、算法偏见、人机协同等问题亟待解决。医学AI产品研发和落地的过程中也在应用、理解、接受多样化等方面存在偏差，产品统一交互、比较以及评价困难。此外，医学AI在部署过程中还需要面对复杂的伦理挑战。因此，建立科学完备的规范与标准体系，势在必行。

然而，规范和标准的建立无法一蹴而就，就像AI大模型立足于海量规模的数据库基础上，医学界在应用AI技术方面的探索和创新，也在为行业的健康发展积累经验。在上海，就有不少三甲医院正探索“懂医学、会更新知识库、能识别患者问题意图”的专科类医学AI工具。

去年2月，复旦大学附属中山医院葛均波院士参与研发了国内首个深耕心血管专科的医疗大模型测试版。去年4月，仁济医院发布了国内首个泌尿专科AI助手。去年11月，则有上海首个“胃肠多模态医学AI”在浦江医学人工智能大会亮相，它公开挑战三甲医生，在分析同一复杂病例后，判断和治疗建议与专家团队总体相似。

目前，这款一战成名的医学AI工具，仍在不断测试，持续进化。上海人工智能实验室青年研究员张容肇介绍，医学数据团队对病例实施规整化和质检质控等操作，使病例更加符合临床的诊疗规范和真实情况。

所谓“多模态”，就是这款AI工具既能读懂临床病例，也会分析胃肠镜报告、CT影像等。“投喂”给模型的有性别、年龄、主诉以及现病史、既往史、婚育史、家族史等“一诉五史”数据，这些是标准的结构化病历的必要字段。

要教会AI读懂胃肠镜报告，不仅要“投喂”几百份患者检查数据，还有大量的人工标注、数据对齐和人工审核修订，最后至少由副主任医生水平的专家做终审，保证数据没有“噪声”。核心宗旨就是，确保AI学习的语料完全真实和准确。而研发“胃肠多模态医学AI”的初心，并不是为了取代医生，或让患者自己看病。

上海人工智能实验室青年科学家徐捷指出，AI发展到最后，能达到一些主任级别医师的水平，但在医疗的严肃场景之下，它应该是辅助的角色，而不是替代医生的角色。

而在蒋欣泉委员所在的复旦大学附属口腔医院，AI已经融入了教学。通过“AI+虚拟仿真”，年轻医生可以在虚拟环境中接受高仿真度的临床操作训练。此外，医院已经启动了口腔修复领域的垂类医学AI研发，预计今年向药监部门递交第三类医疗器械注册证申请。

不过，生成式人工智能模型在医院的落地规范目前还没有明确。数据、内容和模型的安全，以及伦理规范等，还有待更细化的行业指导方案出台。

蒋欣泉委员强调，首先，要深入临床解决真问题。最好的AI医疗产品，一定是从临床需求中“长”出来的，而不是在实验室里“造”出来的。呼吁AI企业、工程师们更深入地走进医院，与一线医生紧密合作，真正理解临床的痛点、难点和工作流程。其次，AI医疗是一个复杂的系统工程，希望共同努力，推动高质量医疗数据集的开放共享，建立行业统一的技术标准和伦理规范，构建一个开放、协作、规范、共赢的创新生态。

看看新闻记者: 周文韵 乔楚

编辑: 严相莉 翟静

责编: 严相莉