![]()
导语
一张病理切片,能否读出隐藏在细胞中的分子密码?清华大学李梢教授团队提出的 Multi-Embed 模型,通过自监督对比学习,将病理影像与基因表达、蛋白丰度等多组学信息映射到统一的表征空间,不仅提升了跨模态预测的准确性,还揭示了影像与分子特征之间潜在的网络模块化关系。从免疫结构识别、癌变轨迹追踪到预后评估,这项2026年4月24日发表于《自然·方法》的研究为低成本挖掘肿瘤分子信息提供了新路径,也为理解疾病宏观表型与微观机制之间的联系打开了新的窗口。
关键词:多模态学习、病理影像、基因表达、多组学整合、自监督学习、可解释人工智能、肿瘤精准医学
集智编辑团队丨作者
![]()
论文题目:Systematically decoding pathological morphologies and molecular profiles with unified multimodal embedding 论文链接:https://www.nature.com/articles/s41592-026-03070-5 发表期刊:Nature Methods 发表时间:2026 年 4月 24 日
一个问题:照片与基因,隔着两种语言
如果只看一张病理切片的照片,就能读出病人的基因表达谱,你信吗?病理切片是癌症诊断的金标准,一张照片的成本只是基因测序的零头;而测序动辄成千上万。一个是宏观的"长相",一个是微观的"分子密码",两者像说着完全不同的语言。过去的模型要么能翻译却讲不清道理,要么有道理却换个医院的数据就失灵——性能和可解释性,鱼和熊掌难以兼得。
一个方法:造一个“共同的翻译空间”
清华大学李梢教授团队把这个想法变成了现实。2026 年 4 月,自动化系副研究员张鹏和博士生高超飞作为共同第一作者,在《自然·方法》上发表论文,提出了名叫 Multi-Embed 的统一多模态嵌入模型。它的思路,是给两种语言造一个"共同的翻译空间"。模型采用自监督对比学习:来自同一份样本的形态特征和分子特征,在空间里被拉近;不同样本的则被推远。
就像培养一名翻译官:不靠词典硬背,而是靠海量对照阅读,自己悟出对应关系。
更关键的是,团队揭示了一条底层规律:宏观影像和微观分子在这个统一空间里,会自发形成"网络模块化"的关联结构。把这条规律编码进模型,可解释性就从设计里自然长了出来——这正是它解决"性能与可解释性不可兼得"两难的钥匙。
![]()
图 1:Multi-Embed 方法框架与基准分析。
一组数字:效果有多强
![]()
团队系统解析了公共数据库中四万五千人次的临床信息、病理影像与多组学数据,覆盖十二种癌症。跨层次整合精度比此前最优模型提升 1.64 倍。它不仅能从切片照片反推近两万个基因的表达,还能同步推断 DNA 甲基化、蛋白丰度和基因突变——同一张切片,一次性读出多层分子信息,并通过了 CPTAC独立队列、10x Visium / Xenium / Visium HD 等多种空间组学平台的外部验证。
三个应用:从预警到预后
发现"漏网"的免疫结构:在三阴性乳腺癌中识别三级淋巴结构(TLS,一种与抗癌免疫密切相关的免疫组织),甚至发现了病理医生漏标的新区域,并得到专家确认。
画出癌变的时空轨迹:在胃癌研究中描绘从慢性胃炎到极早期胃癌的演变路径,为癌症预警提供新的影像—分子标志物。
预后风险分层:在十二种癌症上挖掘的影像—分子多模态标志物,通过了外部独立临床数据验证;还能预测肿瘤对药物治疗的响应。
由于病理图像恰好是宏观表型与微观分子的交汇点,这套方法还为阐明中医望诊的科学内涵打开了一扇门。
![]()
图2:基于 Multi-Embed 的影像—分子多模态融合标志物发现
一点冷静:局限与展望
当然,它也有局限:模型依赖高质量的影像—分子配对数据,数据规模受限时性能会打折扣。未来通过引入更大规模多模态数据和更强的预训练策略,并接入舌像、内镜等更多影像类型,这套"翻译系统"或许能读懂更多疾病的语言。
目前代码已在 GitHub 开源(github.com/Epoch1128/Multi-Embed),团队还搭建了在线交互平台(multiembed.qhdyr.net),方便研究者直接体验。
免疫复杂性读书会
免疫现象是思考生命复杂性的理想场景。免疫系统能在数十亿种可能的病原体中识别威胁并将之消除,也能在机体遭遇损伤时协调资源启动修复。
如何在AI驱动的复杂科学世纪,迭代我们对免疫现象的认知?这是我们组织这场读书会的初衷。
由秦健勇、敖平、雷锦志、张晓实及秦晓玉共同发起,试图基于新生物学2009白皮书从多个维度——物理、数学、AI、临床——实现对免疫现象的迭代理解。
![]()
详情请见:
1.
2.
3.
4.
5.
6.
7.
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.