网易首页 > 网易号 > 正文 申请入驻

登顶 Science 背后,达摩院医疗 AI 的「自我革命」

0
分享至


从“一病一模”到“一图通吃”:AI 影像的专才时代正在终结。

编辑丨李希

2022年,AI算法专家张建鹏加入阿里巴巴达摩院医疗AI实验室的时候,团队正在酝酿一项世界级突破:

能不能用AI,去识别平扫CT上人眼难以识别的早期癌症病灶,改写癌症发现即晚期的悲剧?

这个大胆的猜想后来变成了现实。

沿着“平扫CT+AI”这条原创技术路线,达摩院先后研发出了针对胰腺癌、胃癌、肠癌、食管癌、肝癌等一系列AI模型,光是Nature Medicine就拿了下4篇。

该刊更对此作出了一个重要断言:基于影像的癌症筛查将进入黄金时代。

张建鹏当时认领了其中的“肠癌AI小分队”,研发出DAMO COCA模型,为人类抗击第二大“癌症杀手”,提供了一种无需插管的新筛查途径。

也正是在这个过程中,他对真实的临床世界有了新的理解:

医生每天面对的,是这世界成千上万的疾病,而患者也不会按“单病种”来患病。事实上,同一份CT影像上,可能就包括了好几种异常。越是这种时候,越容易发生遗漏。

能不能有一种AI模型,像雷达一样大范围探测,所有病灶无所遁形?

3年以后,9月18日凌晨,Science刊发了一篇重磅论文:


An Expert-Level Generalist AI for Abdominal CT Diagnosis(一种面向腹部CT诊断的专家级通用AI)。

针对腹部增强CT诊断,它可一次性识别超过146种病症。平均准确性首次达到影像科专家水平。

可以说,这是国际上第一个真正的通用影像AI模型。

它的名字,叫DAMO RADAR(“雷达”)。

01

AI 大势,分久必合

影像无疑是医疗AI最为明确的方向。

在医疗这个容错率极低的特殊领域,任何一丝大模型幻觉,都关乎着人命。

因此,影像凭借成熟的视觉技术路线,以及“有图有真相”的确定性,成为最早落地的医疗AI类型。

以CT影像上的肺结节、眼底彩照上的糖尿病视网膜病变为代表,一批识别的比医生快、医生好的影像AI模型涌现。

达摩院开创的“平扫CT多癌早筛”技术路线,则更进了一步,超越人眼极限,识别过去医生难以发现的细微病灶。

从“癌症之王”胰腺癌,到复杂易变的胃肠道空腔脏器,达摩院在平扫CT上解锁了一个又一个过去医生不太会在平扫CT上去看的病种,在外界引发巨大反响。

直到这一步,业内所有的影像AI基本上都是专病模型,也就是一个模型,只负责看一种病。

这样固然能把AI模型的性能推到极致。但“一病一模”,每换一个攻坚对象,就要换一批训练数据、重新请一批专科医生帮忙标注,人工智能的背后是大量人工劳动。再加上训练和验证,一晃就是两三年的时间。

“真正让我产生冲击的是,即使一个项目做成功了,我们解决的也只是一个问题”,张建鹏意识到,辛苦训练好的专病模型无法泛化到其他病种上,这样下去,可能一辈子也攻克不了几种病。

影像AI,也许可以有另一种形态:在一次CT上,识别扫描范围内的所有器官、所有疾病。而这种形态的AI,势必需要一种不那么吃人工标注的新学习范式。

张建鹏在博士期间就关注过视觉-语言模型(VLM)在医疗领域的应用,他隐隐觉得,沿着这个思路,没准能走上一条通用医疗AI之路。

要知道,每份CT影像,都会配套一份影像医生撰写的诊断报告,何不直接把这些现成的“教材”利用起来,让AI一边“看”影像,一边“学”相应的文字描述,这样就无需额外标注了。

方向有了,先从哪种影像开始做起呢?

02

腹部CT,影像科的“地狱模式”

正当达摩院的AI科学家跃跃欲试一种通用影像AI模型的时候,浙江大学医学院附属第一医院(简称“浙一”)的放射科医生正饱受一类片子的折磨:

腹部增强CT。

它难就难在,里面可能藏着太多可能的疾病,单病种AI无异于杯水车薪。

浙一放射科主任肖文波是有着30年从业经验的资深专家,带领着一支几百号人的队伍,每天检阅几千份CT影像。

她这么设计一个影像医生的成长线:先从胸部CT这种器官少、对比度明显、辅助软件众多的“新手村”出发,再到神经CT和骨肌CT上强度历练,最后才能进腹部CT。

为什么?因为腹部CT堪称影像科的“地狱模式”,几十个器官和系统堆叠,从消化系统、泌尿系统、生殖系统,还几乎都是软组织,密度差不太多,看起来就是灰蒙蒙的一团乱麻。即便增强CT已经注射了造影剂,对肉眼也是极大的挑战。光一个弯弯曲曲盘绕着整个腹部的肠道,就要从横断位、冠状位、矢状位重建,反反复复地看。

更别说,增强CT本身其实并不是一张图片,而是几个扫描期相几百张切片的结合。可以说,比起看图,影像科医生更像是在“翻书”。每一页上几个像素的明暗变化,都可能藏着细微的病灶。

肖文波坦言,即使是她自己,看一份腹部CT至少20分钟,遇到疑难病例,花上1小时也不奇怪。“我们有一句话,‘同病异影、异病同影’。有时候两种不同的肿瘤,看起来一摸一样;而同样一种肿瘤,反而长得不一样。我就算水平再高,也不可能对所有的肿瘤、所有的特征都有经验,人可能一辈子都无法积累这样多的经验。”

有时候,她也不忍心苛责年轻医生的失误,但他们要开具的是对临床医生和患者都极为关键的一份“证据”:

“任何一个人知道自己身上哪里长了东西,哪怕就是个息肉,也都会紧张的,更别说如果是一个小肿瘤,你漏了,等过半年、过一年,它长得很大了,治疗方案完全是不一样的,生存期完全是不一样的。所以我们只能尽量去把报告写得完美。”

至于AI,肖文波这些年来当然也接触了不少,基本上都是单病种模型,用于腹部的并不多。全腹部通用的AI?

“我们连想都不敢想。虽然很渴望,但心里也清楚这太难了。”

这反而让达摩院下定了决心。既然是全新的探索,那干脆就选最有需要、最有价值的领域。锤子和钉子,总得有一头是确定性的。

“这当然不是那种一定能成功的项目,”张建鹏心里很清楚。真正的创新往往从这种项目里长出来的。

03


“对齐颗粒度”,效果立竿见影

“对齐颗粒度”本是一句大厂“黑话”,却意外成为了研发中最关键的转折点。

2024年初,浙一和达摩院正式合作,在一部分器官上初步验证了技术路线的可行性,但模型的精度提升很快遇到了瓶颈。

原因很明显,在庞大的三维CT数据中,绝大部分是正常的器官、脂肪、骨骼,其中潜在的病变信号非常稀疏,容易被正常背景“淹没”。

衡量AI诊断精度的关键指标,是AUC。这是一个介于0和1之间的数值,0.5代表盲猜,而1代表AI能完美区别“有病”和“无病”。

美国斯坦福大学的一个团队几乎在同期做了一个名为Merlin的腹部CT诊断模型,大约选取了其中30种疾病覆盖,后来先一步在Nature上发表。Merlin的AUC大概在0.812左右, 并没有到医生的平均水平。

但达摩院想做的,是一个临床医生真的能用上的AI。

张建鹏几乎每周都要跑一趟医院,与医生交流。在这过程中,他从一个只懂代码的计算机博士,逐渐理解起医生阅片时大海捞针的逻辑:

首先要看临床医生的开单原因,患者是为什么拍片子?有什么地方不舒服?医生先从那灰蒙蒙的一团乱麻里定位到相关的器官,重点关注,显然,这里更有可能出现病变。

再接着排查其他器官,看看有没有临床上还没有被关注到的其他病灶。有了初步的怀疑,还要结合患者的病史和其他一些检查(比如抽血),综合性地判断。

“先定位到器官”这个步骤引起了他的注意。以往用VLM去做通用影像AI的尝试,包括Merlin,用的都是全局对齐,也就是让AI同步建立整份影像和整份报告的对应关系。

但在这个过程中,AI可能会“学偏”、也会“走捷径”,把医学上并不相关的两个特征联系起来。

何不让AI借鉴一下人类的方法?先把影像和报告按照器官分割起来,再对比学习,让AI从“全文学习”,变成“逐句学习”。

这在专业上,叫做解剖级的细粒度对齐。

达摩院医疗AI实验室在器官分割方面有很深厚的技术积累,此前单病种模型就离不开这种底层模块。这次,团队把器官分割模块内置到了模型中,而不是作为外挂工具,确保AI能够原生理解这些解剖结构的关系。


此外,张建鹏还想到,标准的对比学习会让来自同一个体的视觉和文本特征尽量靠近,而让来自不同个体的特征尽量远离。但事实上,不同患者的正常器官应该是差不多的,患有同种病的不同患者也差不多,让它们远离,不符合医学逻辑。

RADAR从而引入了自适应的对比建模策略,根据每个样本的具体情况动态调整。

这些从医学视角出发的技术创新,效果立竿见影。

“这一次,AI好像并不只是刷爆某类题型、背诵某些标签的熟练工,它可能真正理解了一些医学影像的逻辑。”

张建鹏选取了腹部18种器官、146种疾病进行验证,在近4万次真实世界检查中AUC可达0.913,跨越了人类医生平均水平这道门槛。


更令他兴奋的是,原始训练数据并不包括急诊拍的CT,但当他们把AI部署在环境复杂、病因多样的急诊场景验证,在17种常见的急腹症上,AUC也达到了0.904。

这意味着,146种只是验证范围的边界,却不是RADAR模型能力的边界。

04

影像医生和 AI 科学家,

都在思考未来

“当我们和AI‘对答案’,我才真的相信,我们有了一个通用腹部影像AI。”

研究团队邀请了来自14个机构的26名放射科医生,包括11名资深医生和15名初级医生,与AI分别阅读300名患者的CT影像。结果,仅有3名资深放射科医师的表现略优于AI,其余医生的平均准确率低于AI。

当然,这是排除了主诉、病史、其他检查结果的“只看影像”PK,完全是AI的舒适区,并不是正常的医生工作状态。

更值得关注的或许是人机协作试验。在AI辅助下,医生发现疾病的敏感性提高了10%,平均时间则减少了30.7%。有AI辅助的初级医生甚至可以超过资深医生。

曾经认为不可能的全腹部AI,终于来了。对肖文波来说,这是一个重要时刻。她重新认识到AI的能力,也开始系统性考虑影像医生的未来。

“我想了很久,这个AI我们到底要怎么用?首先当然是帮我们服务临床,服务患者,这是最主要的。但其次,不能让AI截断年轻医生的成长。”

正如有些医疗AI批评论者指出的,“如果把AI撤掉,年轻医生的水平又一下子回去了。这是为什么?因为影像诊断本质上是一种思维,而AI容易让人忽略这个思维过程。”

肖文波想到30年前,她还坐在老师的桌边,看老师手把手批改她的报告。在影像检查爆炸式增长的当下,这种“一对一”带教时间尤为奢侈,而AI正好可以补上这块空白。

她希望年轻医生可以先自己看一遍影像,再对比AI的“参考答案”查漏补缺,反思成长。AI时代,人最不能跳过的,是思考。

而在达摩院,AI科学家们也在思考影像AI的未来。

达摩院资深算法专家、多癌筛查技术负责人张灵认为,专病模型和通用模型并不是替代的关系,而是会将长期并行存在。

医疗场景对容错率的要求极高,专病模型的核心价值是高精度,而通用模型的核心价值是广覆盖。“专才”和“通才”在不同的临床场景里各有用武之地,例如癌症筛查需要针对单病种的极致特异性,尽量避免假阳性产生造成恐慌;而腹部增强CT诊断,更强调多器官、多病灶的不遗漏。

张建鹏则相信,RADAR的研究范式,还能够应用于其他形态的医疗影像,比如核磁、超声、PET-CT,推动医疗走向通用AI时代。

从表面上看,从PANDA到RADAR,像是达摩院医疗AI的一次“自我革命”——从专病模型,走向通用模型。

但两条路线本质上是想解决同一个灵魂拷问:

什么样的医疗AI,才是医生和患者真正需要的?

或许人类最终会拥有一款又“精”又“广”的医疗AI模型,但在这一天到来之前,达摩院不会放弃任何一种可能性。

开源地址:https://github.com/alibaba-damo-academy/damo-radar

论文链接:www.science.org/doi/10.1126/science.aec6129


未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
财政部:1—10月,印花税4712亿元,同比增长24.6%

财政部:1—10月,印花税4712亿元,同比增长24.6%

每日经济新闻
2026-11-20 16:59:05
台湾人魏明仁“胆大妄为”:在台湾建毛主席纪念馆,升共产党党旗

台湾人魏明仁“胆大妄为”:在台湾建毛主席纪念馆,升共产党党旗

古渡观书
2026-11-20 01:52:42
很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

西昆仑Bruce
2026-11-19 16:57:57
库里与詹姆斯的38岁对比!场均少打6分钟多拿2.4分 真碾压詹姆斯?

库里与詹姆斯的38岁对比!场均少打6分钟多拿2.4分 真碾压詹姆斯?

体坛八点半的那些事儿
2026-11-20 17:19:16
美国又出手了,但网上一片叫好

美国又出手了,但网上一片叫好

吴女士
2026-11-19 13:32:59
刘青山死后30年,三个儿子找到当年举报者李克才:请为我父亲平反

刘青山死后30年,三个儿子找到当年举报者李克才:请为我父亲平反

健康快乐丁
2025-07-07 21:54:56
属兔的恭喜了!贵人送财,就在这7天内

属兔的恭喜了!贵人送财,就在这7天内

刺头体育
2026-11-20 17:37:28
切开放一会儿就“发黑”的口蘑,不是坏了——真相是:越白得发亮、放一天都不变色的,越要当心

切开放一会儿就“发黑”的口蘑,不是坏了——真相是:越白得发亮、放一天都不变色的,越要当心

富贵说
2026-11-17 18:37:46
四野独眼开国中将,征战东北至海南,一生毁誉参半,长寿活到95岁!

四野独眼开国中将,征战东北至海南,一生毁誉参半,长寿活到95岁!

浅遇光阴
2026-11-19 14:47:48
1949年,解放军打开马鸿逵的仓库,全部愣住:里面是1286公斤羊毛

1949年,解放军打开马鸿逵的仓库,全部愣住:里面是1286公斤羊毛

历史人文2
2026-11-20 16:55:47
惨!新5元纪念币,没人约了!

惨!新5元纪念币,没人约了!

天天纪念币
2026-11-18 12:05:10
国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

云景侃记
2026-11-20 09:48:24
7连阴后 小盘股加速出清:市场在等一个什么信号?

7连阴后 小盘股加速出清:市场在等一个什么信号?

郭一鸣
2026-11-20 15:40:29
印度前内阁部长:深圳APEC没请莫迪,伤了印度的体面。

印度前内阁部长:深圳APEC没请莫迪,伤了印度的体面。

荆楚寰宇文枢
2026-11-19 23:30:01
冬天,每天早上喝一碗,把肝血补回来,手不麻眼不花,整个冬天不怕冷

冬天,每天早上喝一碗,把肝血补回来,手不麻眼不花,整个冬天不怕冷

江江食研社
2026-11-20 14:24:27
越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

无情有思可
2026-11-19 08:11:29
Anthropic首秀冲高回落, 引发美股大跌, 经济学家警告:AI行情或终结

Anthropic首秀冲高回落, 引发美股大跌, 经济学家警告:AI行情或终结

每日经济新闻
2026-11-20 08:55:21
笑不活了!如果你不开心,就去看文吉儿戴帽子的网友评论吧,快笑趴了

笑不活了!如果你不开心,就去看文吉儿戴帽子的网友评论吧,快笑趴了

糊咖娱乐
2026-11-20 16:21:36
金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

阿胡
2025-04-03 13:59:42
王毅介绍中俄美元首会晤情况

王毅介绍中俄美元首会晤情况

界面新闻
2026-11-20 07:06:03
2026-11-20 18:56:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7833文章数 20798关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
亲子
数码
本地
公开课

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

亲子要闻

宝宝气人但是聪明的4个行为

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版