北京
人们会向AI寻求各种建议，包括那些本该去问医生的问题。然而，下次当你想对着ChatGPT询问脸上的肿块是否是皮肤癌时，请先了解这样一个事实：研究显示，当前主流AI模型在早期鉴别诊断中，超过80%的情况下都会给出错误答案。
由哈佛大学医学生Arya Rao领衔的研究团队，本周在《JAMA Network Open》期刊上发表了一项研究成果。该研究针对21款主流现成AI模型，在29个标准化临床病例情境中展开了系统测试。结果显示，当这些模型获得完整的医疗信息并被要求给出最终诊断时，表现普遍不错，主流模型的准确率高达91%。然而，在早期鉴别诊断阶段——即医生需要在多种可能性之间权衡、逐步排除某些病症的过程中——超过80%的失败率便暴露出来了。
"我们测试的每一个模型，在绝大多数案例中都失败了，"Rao在一封电子邮件中告诉The Register，"那个阶段不确定性最强，而恰恰就是这些系统最薄弱的地方。"
换句话说，这不过是昨日那个让人焦虑到深夜、在WebMD上越查越慌的经历换了一个面孔重演，只是如今被AI加持，反而可能比你自己判断时更容易出错。
"我们的研究结果表明，在没有经过系统性、全面的人工审核的情况下，目前的现成大语言模型不应被用于面向患者的诊断推理，在患者自我诊断场景中同样存在显著局限，"论文共同作者、麻省总医院放射科医生Marc Succi博士在给我们的邮件中如此表示。
"这些模型可能在缺乏严密推理的情况下仍显得信心十足，在鉴别诊断环节尤为如此，"Succi补充道，他还指出，这种表面上的自信可能进一步加剧本就有焦虑情绪的患者的担忧。
Rao也指出，论文中所说的"失败"，并不一定意味着AI完全给出了错误答案，只是没能提供完全正确的答案。她表示，若按照每个案例中各项答对比例的原始准确率来衡量，各模型的得分在63%至78%之间，远高于论文中那个更严格的失败率指标所呈现的结果。
这些原始数据显示，"模型通常只答对了一部分，而非全部正确答案——即便按照更严格的失败率定义，它们被视为失败，实际上也往往是部分正确的，"Rao告诉我们。
尽管如此，研究团队仍坚持认为，那个更严格的失败率定义同样值得重视——尤其是在当下，AI正被大力推广为前线医疗智能体，宣称能在将患者转交给人类医生进行进一步诊断之前，先行缩小诊断范围。
"将大语言模型营销为诊断智能体，恰恰在其最不可靠的地方制造了虚假的信心，"研究团队指出，"在生成鉴别诊断和应对不确定性方面持续出现的失误，说明大语言模型尚不能在前线决策中被信任。"
Succi还表示，最终诊断中较高的成功率并不应该让人放心，他警告称，这类数据可能营造出一种对模型能力的误导性安全感。
"真实的临床推理从更早的阶段就开始了，那时的不确定性最高，而这恰恰是模型最薄弱的地方，"Succi说，"即便最终得出了正确答案，错误的鉴别诊断路径也可能导致延误治疗、进行不必要且存在风险的检查、造成高额费用，以及更多其他问题。"
总而言之，下次当你为某个健康问题辗转焦虑时，别急着上网查，除非你是在找医生的联系方式，以便得到一位真正的人类医生作出的专业诊断。AI，还没准备好。
Q&A
Q1：AI在医疗诊断中的准确率到底有多高？
A：研究显示，当AI获得完整医疗信息并作出最终诊断时，主流模型准确率可达91%。但在早期鉴别诊断阶段，超过80%的案例中AI会给出不完全正确的答案。若按原始准确率衡量，各模型得分在63%至78%之间。
Q2：为什么AI的早期鉴别诊断能力比最终诊断差那么多？
A：早期鉴别诊断需要在信息不完整、不确定性最高的阶段，权衡多种可能性并逐步排除部分病症。研究人员指出，AI模型往往在缺乏严密推理的情况下仍表现出过度自信，无法有效处理高度模糊的临床场景，这正是其最薄弱的环节。
Q3：现在可以用大语言模型辅助患者自我诊断吗？
A：目前不建议。研究团队明确指出，现成的大语言模型在没有经过系统性人工审核的情况下，不应用于面向患者的诊断推理。错误的鉴别诊断路径可能导致延误治疗、不必要的医疗操作及高额费用，患者应寻求专业医生的诊断。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
