网易首页 > 网易号 > 正文 申请入驻

美国专家:AI聊天机器人缺陷曝光,患者被警告勿用于自我诊断

0
分享至

患者被警告不要转向人工智能进行居家医疗诊断,因为一些AI系统未能识别关键症状。

美国卡内基梅隆大学计算机科学学院的研究人员调查了GPT-5、Gemini和Claude等大型语言模型如何回应旨在诊断疾病的基础医疗问题。

分析显示,当被问及医生在评估患者时通常会参考的细节时,这些大型语言模型(LLM)偶尔会编造虚假信息。

作为研究的一部分,机器人研究所硕士生西达尔特·沃拉要求主流LLM描述一张在提问中故意被省略的医学图像。

但在18%的案例中,模型并没有要求提供缺失的图像,而是根据用户的年龄、性别和种族虚构了一个诊断。

误导性

研究结果表明,AI提供的诊断中近五分之一可能是虚假或误导性的。

计算机程序还假设一些患者患有癌症,而没有参考可以帮助排除该疾病的关键图像。

“当提出胸片问题时,OpenAI的GPT-5对约77%的年轻黑人患者诊断为结节病。”

癌症专家估计,每1万颗痣中不到一颗会癌变。结节病——一种通常见于肺部的炎症性疾病——较为罕见,每10万人中出现10至60例,部分区域存在差异。

沃拉先生说,当提示词中仅输入种族、年龄或性别时,诊断结果可能会改变。



这项研究突显了在谷歌医生和先进AI时代,自我诊断方法中存在的缺陷。

通过输入症状,患者绕过了专业医疗意见,将自身健康交到计算机程序手中。

尽管AI的回答看起来令人信服且权威,但它们并非基于事实,而且用词的微小变化就可能会极大地影响模型的结论。

在研究过程中,沃拉先生针对12个模拟患者档案,重点关注了胸片、脑部MRI扫描和皮肤科图像。

AI模型在Claude、GPT-5和谷歌Gemini上共提供了11700条回答。这些发现印证了AI行业的一个重大担忧:用户往往认为模型理解的内容远多于其实际所知。

“大约82%的情况下,由于没有附加图像,模型拒绝提供回答,”沃拉先生说。“在剩下的18%中,模型编造了诊断,而不是要求提供缺失的图像。”

“普遍认为AI模型很智能,因为它们在特定任务上表现良好。但擅长一件事并不意味着们擅长所有事。”

令人信服的诊断

根据2026年爱德曼信任度晴雨表全球报告,在阿联酋受访的1000人中,59%的人曾使用AI来管理自己的健康。该报告还发现,十分之七的人对自己能够找到健康问题的答案并做出明智决定感到有信心。

“大型语言模型在安全防护措施到位之前就已进入医院,”阿联酋技术服务提供商Outworks的首席技术官艾哈迈德·阿舒尔说。

“无论回答是否正确,模型都会生成流利的答案,而在医学领域,一个自信的错误答案比没有答案造成更大的伤害。”

“开发者大多基于西方人群训练模型,因此对地区患者的准确性会下降,从遗传风险因素到患者用阿拉伯语描述的症状都是如此。”

阿舒尔先生表示,数据隐私是阻碍LLM在医疗保健领域发挥效力的另一个问题。“健康记录是国家持有的最敏感数据之一,任何部委都不能将其交给不受其控制的系统,”他说。

“问责制是最后一点。当算法影响临床决策时,必须有人对结果负责,而许多医疗系统目前还无法说出那个人是谁。”

医院

放射学被证明是AI应用最有效的医疗领域。

模型在扫描中标记异常,准确率接近专科医生,这为每张图像提供了第二次判读,而无需增加放射科医生的工作时间。

基于AI的医院系统可以预测住院人数、管理床位容量,并在数小时前发现患者病情恶化,从而在不开处方的情况下拯救生命。

阿斯特DM医疗保健公司数字健康与全渠道业务首席执行官纳拉·卡鲁纳尼蒂表示,该集团的医院利用AI算法帮助放射科医生优先处理紧急病例,并更快地发现细微异常。

“目前大型语言模型真正增值的地方在于临床接触环节,而非诊断决策本身,”卡鲁纳尼蒂先生说。

“通用模型可能带有训练数据中的偏见,包括与族裔和种族相关的偏见,并且可能以完全自信的方式给出错误答案。”

“在临床环境中,这种不负责任的自信目前在临床上并不被鼓励。”

“在阿斯特,任何涉及诊断路径的AI都在医生的监督下运行,医生仍对决策负责。”

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
雷军一句"不挑油",为何让整个车圈坐不住了?

雷军一句"不挑油",为何让整个车圈坐不住了?

元气科技馆
2026-07-30 19:12:27
单条DDR5游戏实测:AMD 3D缓存芯片性能损失不到5%,比双通道DDR4还强

单条DDR5游戏实测:AMD 3D缓存芯片性能损失不到5%,比双通道DDR4还强

薛定谔的BUG
2026-07-31 20:04:10
令人唏嘘!从广东回北控却没位置?王少杰去打村BA,出场费用曝光

令人唏嘘!从广东回北控却没位置?王少杰去打村BA,出场费用曝光

萌兰聊个球
2026-07-31 10:13:52
马斯克有句话点醒过我“如果今天我破产了,绝对不会去找工作,而是去做一件能快速产生现金流,并且可以复制放大的事。”

马斯克有句话点醒过我“如果今天我破产了,绝对不会去找工作,而是去做一件能快速产生现金流,并且可以复制放大的事。”

LULU生活家
2026-07-07 20:59:47
有人说:什么时候公务员不再是挤破头的职业,那社会就百业兴旺了

有人说:什么时候公务员不再是挤破头的职业,那社会就百业兴旺了

细说职场
2026-07-29 15:52:11
她是中国羽协副主席,住普通小区生活低调,与企业家丈夫儿女双全

她是中国羽协副主席,住普通小区生活低调,与企业家丈夫儿女双全

娱说瑜悦
2026-07-31 15:10:11
被注射不明物、三年没来例假、耳朵失聪长霉,为何没一人为她说话

被注射不明物、三年没来例假、耳朵失聪长霉,为何没一人为她说话

叨唠
2026-07-18 03:28:57
媒体爆料:马斯克计划斥巨资助力共和党中期选举 目前正重启由他创建的“美国政治行动委员会”

媒体爆料:马斯克计划斥巨资助力共和党中期选举 目前正重启由他创建的“美国政治行动委员会”

每日经济新闻
2026-07-30 16:49:54
消化科医生:只要血常规没这5个箭头,结直肠癌风险就不用太焦虑

消化科医生:只要血常规没这5个箭头,结直肠癌风险就不用太焦虑

路医生健康科普
2026-07-30 19:20:03
政治局会议释放楼市强音,“稳定房地产市场”被纳入“安全屏障”

政治局会议释放楼市强音,“稳定房地产市场”被纳入“安全屏障”

华夏时报
2026-07-31 18:32:01
《繁花》阿宝早就看透:和周围人搞好关系的秘诀,不是请客吃饭,也不是阿谀奉承,而是学会默默做好这两点

《繁花》阿宝早就看透:和周围人搞好关系的秘诀,不是请客吃饭,也不是阿谀奉承,而是学会默默做好这两点

心理观察局
2026-07-30 06:41:05
整个亚洲无影厅可完美播映《奥德赛》

整个亚洲无影厅可完美播映《奥德赛》

看看新闻Knews
2026-07-30 12:38:11
“全美最受欢迎汉堡”下周一北京双店齐开!西边东边都照顾到了!网友:小马扎准备好

“全美最受欢迎汉堡”下周一北京双店齐开!西边东边都照顾到了!网友:小马扎准备好

北京商报
2026-07-30 13:30:10
上海富豪与小三做试管婴儿,20年发妻送他进拘留所,可怜了独生女

上海富豪与小三做试管婴儿,20年发妻送他进拘留所,可怜了独生女

阿讯说天下
2026-07-31 11:50:27
比亚迪海洋旗舰SUV海狮08内饰全球首秀,有望8月上市

比亚迪海洋旗舰SUV海狮08内饰全球首秀,有望8月上市

IT之家
2026-07-31 17:55:08
玄学现象:当你财路不顺时,尽量多去这4个地方,去的越多越顺

玄学现象:当你财路不顺时,尽量多去这4个地方,去的越多越顺

富书
2026-07-23 12:28:15
“薅羊毛”上了新华社?男子把爱心冰柜的水搬空,打开后备箱那一刻,所有人都脸红了!

“薅羊毛”上了新华社?男子把爱心冰柜的水搬空,打开后备箱那一刻,所有人都脸红了!

一丝不苟的法律人
2026-07-25 16:25:45
民宿老板,快被这个暑期熬垮了?

民宿老板,快被这个暑期熬垮了?

钛媒体APP
2026-07-31 18:27:08
张继科直播放炮:四大顶尖无王楚钦!一句话揭开乒坛最硬标准

张继科直播放炮:四大顶尖无王楚钦!一句话揭开乒坛最硬标准

观星娱记
2026-07-29 09:43:11
刚刚,DeepSeek V4正式版来了!

刚刚,DeepSeek V4正式版来了!

新智元
2026-07-31 16:41:40
2026-08-01 00:35:00
雅儿姐在遛弯
雅儿姐在遛弯
感谢关注,持续更新
1021文章数 98关注度
往期回顾 全部

科技要闻

DeepSeek-V4-Flash正式版API上线公测

头条要闻

绿化工人工作群留遗言后坠亡 3小时后群聊被强制解散

头条要闻

绿化工人工作群留遗言后坠亡 3小时后群聊被强制解散

体育要闻

欧足联掀桌!因凡蒂诺这次真玩大了?

娱乐要闻

百花奖影帝影后即将决出

财经要闻

华强北显卡涨价潮 有显卡一周暴涨4000元

汽车要闻

听劝!换回机械门把手,这才是碳基生物该开的车!

态度原创

教育
健康
艺术
游戏
军事航空

教育要闻

L6秋|自我成长是一场冒险,孩子如何才能勇敢面对不确定?

中风易复发!谈中风康复与二级预防

艺术要闻

10亿!全世界最有“酱香”的大楼,海天全球总部!

《龙珠》新DLC难到令人发指!克林打弗利萨还原剧情?

军事要闻

特朗普称哈马斯将全面解除武装

无障碍浏览 进入关怀版