手里的心电、病理、影像数据还在吃灰？20个顶刊AI模型帮你变成论文

从CNS顶刊持续涌现的相关研究来看，AI医学大模型正在打开新的科研与发文窗口。

本次课程以20篇代表性CNS论文为主线，覆盖临床预测、病理、影像、心电、超声、多组学与医学问答。从数据整理到模型运行、结果分析，带大家弄清楚：自己的数据适合哪个AI模型、能解决什么问题、怎样真正把AI大模型用起来。

01

课程核心模块

课程总体分为八个模块：

模块一｜临床数据与多组学——把已有队列用起来，从常规统计走向AI预测
整合患者临床指标、治疗信息、随访结局及转录组、蛋白组等多组学数据，学习数据清洗、特征整理和模型输入构建，并利用AI开展疾病预测、生存风险分析、患者分层及关键因素解释，让已有临床队列从常规统计进一步升级为AI预测研究。

模块二｜心电图AI大模型——从常规波形中挖掘疾病信息
从12导联原始心电信号、MUSE XML文件及临床诊断信息出发，完成心电数据批量读取、重采样、滤波和标准化，并利用EchoNext、ECGFounder等模型开展结构性心脏病风险预测和多种心电异常识别，重新挖掘医院已经积累的大量常规心电数据。

模块三｜超声心动图AI大模型——把视频转化为可量化的心功能数据
将DICOM、AVI、MP4等心脏超声视频整理为AI模型可直接使用的数据，利用EchoNet-Dynamic完成左心室自动分割、动态面积变化和射血分数估计，并结合EchoCLIP开展疾病与表型匹配。进一步与真实超声报告比较，评价模型在自己数据中的准确性和应用价值。

模块四｜数字病理基础模型——同一批切片，尝试多种AI分析任务
利用主流病理基础模型，对已有H&E小图和全切片开展组织切块、特征提取、疾病分类、图文匹配及整张切片分析。已有病理数据无需重新训练大模型，也可以进一步开展零样本分类、形态聚类及空间区域比较，挖掘新的病理学特征。

模块五｜CT/MRI智能分割——医学影像分割从手动勾画走向提示式分割
利用大模型处理已有CT、MRI医学影像，学习影像标准化、目标提示和器官或病灶自动分割，并将单层分割结果进一步扩展至连续切片。有人工标注时，还可以通过Dice等指标评价模型效果，把原始影像转化为后续影像组学、定量分析和AI建模能够直接使用的区域数据。

模块六｜多专科医学影像模型——放射、眼底、皮肤与通用医学图文
覆盖胸片、CT、眼底彩照、皮肤照片以及通用医学图像，根据不同专科数据类型和标签情况选择合适的预训练模型，开展特征提取、疾病分类、医学图文匹配、零样本识别及模型验证。帮助学员判断自己已有的一批医学图片，究竟适合开展哪一种AI研究。

模块七｜医学大语言模型——把自己的医学问题与题库，变成可重复的模型评测任务
以医学大语言模型为例，把自己的医学问题、专业题库和研究领域知识整理成标准化测试集，让医学模型和通用大模型回答相同问题，并系统比较回答准确率、不同学科表现及典型错误。学习如何从简单“聊天体验”进一步转化为可量化、可重复的医学大模型评测研究。

模块八｜血液形态与空间蛋白——让已有细胞图像和专用实验数据获得新的分析维度
利用生成式AI模型分析血细胞图像，完成细胞分类、传统模型对照和反事实解释，进一步观察模型究竟依据哪些形态特征进行判断；同时学习利用Flow2Spatial处理PLATO投影数据，重建蛋白二维空间分布，并与空间转录组mRNA信号进行跨组学比较。

02

课程具体内容

模块一：临床表格与多组学

第1讲：BioMapAI 多组学预测与可解释分析

多组学数据用于预测患者的症状和疾病结局。BioMapAI 将组学特征、多症状预测和可解释分析结合起来。重点学习“组学特征—症状评分—疾病结局”的建模思路，让预测结果与关键生物指标联系起来。【Nature Medicine】

课程内容：

1. 整理数据中的结局、症状评分和组学特征，完成缺失值处理与模型输入标准化。

2. 调用 BioMapAI 进行多症状预测，划分训练集与测试集，计算并展示预测误差。

3. 基于症状预测结果构建最终结局预测，使用 ROC 曲线和 AUC 评估模型效果。

4. 加载 DeepMECFS 预训练代谢组模型，完成自有特征对齐与预测。

5. 利用 SHAP 分析特征重要性，识别影响模型判断的关键代谢物。

医院积累的治疗、诊断和随访数据，用于分析不同癌症患者的生存风险。decoding 将深度学习与 LRP 可解释分析结合，不仅预测风险，还解释哪些输入因素影响了模型判断。重点学习泛癌建模、单癌种对照和个体风险解释。【Nature Cancer】

课程内容：

1. 按患者 ID 整合治疗、诊断和生存数据，整理随访时间与结局信息。

2. 可视化患者生存情况、随访时间和不同癌种的样本分布。

3. 构建深度生存预测模型，通过五折交叉验证及一致性指数、综合评估效果。

4. 对比“所有癌种一起训练”和“每种癌症单独训练”的预测表现。

5. 利用 LRP 开展全局特征归因与个体患者分析，绘制关键因素排序和归因热图。

第3讲：SepsisFormer 常规化验指标与脓毒症风险预测

常规化验表除了做组间比较，还能用于哪些预测研究？SepsisFormer 利用 Transformer 学习凝血和炎症指标之间的关系，预测脓毒症患者的院内死亡风险。重点学习“常规指标建模＋传统方法对照＋SHAP 解释”的分析流程。【Nat Comm】

课程内容：

1. 将化验表对齐至八个标准指标，完成缺失值填补、结局清洗与样本平衡处理。

2. 绘制存活组与死亡组的指标分布图，了解数据特征。

3. 在 CPU 上训练微型 Transformer，开展院内死亡风险预测。

4. 训练逻辑回归和随机森林，利用 ROC 曲线与混淆矩阵比较三类模型。

5. 绘制 SHAP 蜂群图和特征重要性图，分析各项指标对模型预测的影响。

一张普通心电图，能否提供结构性心脏病的风险线索？EchoNext 将常规心电信号用于多种结构性心脏病的初步筛查。重点学习从医院导出的心电文件出发，完成数据整理、模型预测与队列验证。【Nature】

课程内容：

1. 批量读取 MUSE 导出的十二导联心电 XML 文件。

2. 完成波形标准化，并通过十二导联波形图检查数据解析是否正确。

3. 使用 EchoNext-Mini 模型，一次性预测十二项结构性心脏病风险。

4. 绘制疾病概率条形图和雷达图，根据设定阈值标记高风险项目。

5. 在带有真实诊断标签的队列中，计算 AUROC 和 AUPRC，评估模型表现。

第5讲：ECGFounder 心电基础模型与多类别异常识别

面对不同心电异常，是否需要分别训练模型？ECGFounder 利用大规模心电数据学习通用特征，能够输出多类心电诊断的预测结果。本讲重点学习心电信号预处理、预训练模型应用和公开数据验证。【NEJM】

课程内容：

1. 读取原始十二导联心电图，统一至 500 Hz 采样率和十秒长度。

2. 完成滤波与标准化，绘制处理前后的波形对比图。

3. 加载 Net1D／ECGFounder 模型，输出 150 类心电诊断概率。

4. 绘制标准波形栅格图和 Top-K 诊断条形图，展示主要预测结果。

5. 使用 PTB-XL 的 250 条心电图子集开展验证，绘制重点诊断的 ROC，理解子集演示与完整队列评估的区别。

一段心脏超声视频，不仅可以观察心脏结构，还能用于自动分割左心室和估计射血分数。EchoNet-Dynamic 将逐帧分割与视频预测结合起来。重点学习从超声视频整理到左心室轮廓、面积变化和心功能估计的完整流程。【Nature】

课程内容：

1. 读取 DICOM、AVI、MP4 等格式的超声视频，完成掩膜、裁剪和缩放，整理为标准输入。

2. 使用 DeepLabV3-ResNet50 逐帧分割左心室，将分割轮廓叠加回原始图像。

3. 绘制左心室面积随时间变化的曲线，定位舒张末和收缩末。

4. 基于面积变化估计射血分数，并加载 R(2+1)D-18 模型直接进行视频预测。

5. 对比两种估计结果；有真实射血分数时，绘制预测与真值散点图并计算相关性和误差。

第7讲：EchoCLIP 超声图文匹配与零样本表型分析

没有针对某种疾病重新训练模型，能否直接分析超声视频？EchoCLIP 将超声图像与文字描述联系起来，通过图文匹配开展表型判断。重点学习“视频＋文字描述”的零样本分析，并查看模型判断时关注的心脏区域。【Nature Medicine】

课程内容：

1. 对自有超声视频等间隔抽帧、统一尺寸，并检查切面与图像质量。

2. 加载 EchoCLIP 模型，准备疾病和表型的文字描述模板。

3. 计算视频片段与不同表型描述的相似度，绘制表型与样本的匹配热图。

4. 使用不同射血分数的文本模板进行零样本估计，并与报告真值对照。

5. 利用 Grad-CAM 绘制关注区域叠加图，分析模型判断时重点关注的位置。

病理图像怎样变成可以分析的数据？UNI 能将组织小图转换成形态特征，在这些特征上训练简单分类器，即可开展病理分型。重点学习“预训练特征提取＋轻量分类＋特征可视化”的应用方式。【Nature Medicine】

课程内容：

1. 整理病理小图，完成 RGB 转换、中心裁剪与缩放，并检查组织和染色质量。

2. 加载 UNI 模型，提取每张病理小图的 1024 维形态特征。

3. 固定 UNI 模型，仅在提取的特征上训练逻辑回归线性分类器。

4. 以肺腺癌与肺鳞癌分型为例，输出混淆矩阵和平衡准确率。

5. 使用 UMAP 展示特征分布，观察不同病理类型在特征空间中的分离情况。

第9讲：CONCH 病理图文匹配与零样本分类

只有病理图像和类别描述，能否不重新训练就开展分类？CONCH 将病理图片和文字映射到同一个特征空间，通过匹配程度判断图像所属类别。重点学习如何准备文字模板，以及如何利用图文相似度进行分类与检索。【Nature Medicine】

课程内容：

1. 整理病理小图，为每个类别准备英文描述。

2. 将类别描述套入病理文本模板，构建零样本分类所需的文字输入。

3. 加载 CONCH，分别提取图像与文字特征，计算匹配程度。

4. 基于类别文本特征完成零样本分类，绘制测试集混淆矩阵。

5. 绘制病理图像与候选描述的相似度热图，开展图文匹配与检索分析。

只分析一张组织小图，往往无法利用整张病理切片的信息。TITAN 将大量局部区域整合为全切片表征，再与癌种描述进行匹配。重点学习从全切片处理到切片级零样本分型的分析流程。【Nature Medicine】

课程内容：

1. 读取全切片，识别组织区域、过滤空白背景并完成网格切块。

2. 使用 CONCH v1.5 提取局部特征，交给 TITAN 进行切片级聚合。

3. 将 46 个 TCGA-OncoTree 癌种的英文描述编码为分类原型。

4. 对单张切片开展零样本分型，绘制 Top-K 癌种及完整相似度排序图。

5. 使用 TCGA 切片的 TITAN 表征进行批量评测，生成 46 类混淆矩阵并分析分类表现。

第11讲：Prov-GigaPath 全切片特征与组织形态空间分析

病理切片中的不同形态区域在哪里分布？如何把局部形态与整张切片联系起来？Prov-GigaPath 结合组织小块的特征与位置，生成全切片表征。重点学习局部特征提取、形态聚类、空间映射和切片级聚合。【Nature】

课程内容：

1. 读取全切片，识别组织区域，生成带有坐标信息的 256×256 病理小图。

2. 加载 ViT-giant 编码器，提取每个组织小块的 1536 维特征。

3. 使用 K-means 进行形态聚类，并通过 UMAP 展示不同形态群体。

4. 将聚类结果和第一主成分映射回原切片，绘制组织形态分布图与连续热图。

5. 使用 LongNet 聚合局部特征与坐标，生成整片表征，并通过重复子采样检查结果稳定性。

器官和病灶的轮廓，是否一定要逐张手动勾画？MedSAM 通过一个目标框提示，自动生成相应区域的分割结果。重点学习从 CT、MRI 等影像整理，到框提示分割、结果展示和准确性评估。【Nat Comm】

课程内容：

1. 读取 DICOM、NIfTI、PNG、JPG 等格式，完成灰度处理与强度标准化。

2. 准备目标区域的框提示，绘制影像与目标框预览图。

3. 加载MedSAM 权重，理解图像编码、提示编码和掩膜解码的处理流程。

4. 生成器官或病灶的分割掩膜，绘制原图与分割结果对照图。

5. 在具有人工标注的样本中计算 Dice，评估分割效果。

第13讲：MedSAM2 三维医学影像传播分割

二维分割解决的是一张图，三维 CT、MRI 则需要处理连续切片。MedSAM2 利用切片之间的信息，将提示层的分割向相邻层传播。重点学习“单层给提示—连续切片传播—三维结果评估”的分析思路。【arXiv 预印本】

课程内容：

1. 读取三维 CT、MRI 数据，完成模型输入所需的标准化。

2. 确定提示层与目标框，整理 RECIST 标记、裁剪区域和输入文件。

3. 加载权重，理解其基于记忆注意力的传播机制。

4. 以提示层为中心，对选定的连续切片开展双向传播分割。

5. 绘制多切片分割面板和逐层面积曲线；有金标准时，计算三维 Dice。

医学影像能否与大语言模型直接连接，让模型围绕图像回答问题？RadFM 将二维、三维影像转换为语言模型可处理的输入。重点学习多模态输入构造、模型架构以及完整模型的影像问答实践。【Nat Comm】

课程内容：

1. 读取胸片、CT 等影像，整理为模型要求的视觉输入张量。

2. 使用配套分词器和图像特殊标记，构造“影像＋问题”的输入。

3. 在 CPU 上理解视觉编码器、Perceiver 与语言模型之间的数据流。

4. 加载完整 RadFM 模型，运行影像问答与所见描述生成。

5. 绘制影像与多个问答结果的对照面板，观察模型回答的具体程度与应用局限。

第15讲：RETFound 眼底特征提取与糖尿病视网膜病变识别

眼底图像怎样利用预训练模型开展疾病研究？RETFound 将视网膜图像转换为通用特征，再通过轻量分类器完成具体任务。本讲以需转诊的糖尿病视网膜病变识别为例，学习特征提取、分类验证与结果可视化。【Nature】

课程内容：

1. 整理眼底彩照，完成 RGB 转换、裁剪和缩放，并匹配病变分级标签。

2. 加载 RETFound 编码器，提取每张图像的 1024 维特征。

3. 使用 UMAP 展示特征分布，观察不同病变分级的分布情况。

4. 固定预训练特征，通过五折交叉验证训练逻辑回归分类器，识别需转诊病变。

5. 绘制 ROC 曲线和混淆矩阵，计算 AUC 并评估分类效果。

一张皮肤照片，怎样与不同诊断描述进行匹配？本讲实操按课表使用 DermLIP，将皮肤图像与候选诊断文字放在同一特征空间中比较，重点学习零样本分类和图文相似度分析。【Nature Medicine】

课程内容：

1. 整理皮肤照片，完成 RGB 转换、缩放和中心裁剪。

2. 加载 DermLIP 的视觉与文本编码模型，准备候选诊断描述。

3. 分别编码皮肤照片与诊断文本，计算图文相似度。

4. 绘制每张照片对应的候选诊断零样本置信度条形图。

5. 汇总所有照片与诊断描述的匹配结果，绘制相似度热图。

第17讲：BiomedCLIP 通用医学图像零样本分类

病理、皮肤等模型各有专长，是否也有面向多种医学图像的通用图文模型？BiomedCLIP 通过医学图像与文字描述的匹配开展分类。本讲重点学习如何整理自己的医学图像和候选标签，完成零样本预测与相似度分析。【NEJM】

课程内容：

1. 整理医学图像，检查损坏文件、统一颜色格式并生成缩略图预览。

2. 准备候选类别名称与文字描述，建立标签清单。

3. 加载官方 BiomedCLIP 权重，提取图像和文本特征。

4. 根据余弦相似度开展零样本分类，绘制单张图像的候选类别置信度图。

5. 绘制图像与文字的相似度热图，观察不同类别描述与图像的匹配情况。

通用模型经过医学文献继续预训练后，回答会发生什么变化？BioMistral 提供了一个比较医学模型与通用基座模型的实践案例。本讲不仅学习运行医学问答，还通过带标准答案的题目，比较模型在不同学科中的表现。【arXiv 预印本】

课程内容：

1. 整理医学问题，构造指令模板并统计输入文本的 token 长度。

2. 以四比特量化方式加载 BioMistral 与基座 Mistral-7B-Instruct。

3. 对同一问题分别生成回答，制作问答并排对比图。

4. 使用带标准答案的医学选择题，对两个模型进行逐题测试。

5. 绘制分学科准确率对比图，理解医学继续预训练的作用，以及小样本课堂评测的局限。

模块八：血液形态与空间蛋白第19讲：CytoDiffusion 血细胞生成式分类与反事实解释

血细胞分类除了直接训练分类器，还能怎样做？CytoDiffusion 通过比较不同类别假设下扩散模型的噪声预测误差进行分类，并进一步展示影响判断的图像区域。重点理解生成式分类与传统分类的区别，以及反事实解释的实现方式。【Nature Machine Intelligence】

课程内容：

1. 整理血细胞图像，统一尺寸和类别目录，展示各类示例及样本数量。

2. 固定预训练骨干、训练线性分类头，建立传统分类基线并输出混淆矩阵。

3. 使用通用扩散底座演示前向加噪，以及不同类别条件下的噪声预测误差计算。

4. 加载经过血细胞微调的扩散权重，完成真实生成式分类与测试集评估。

5. 比较不同类别的噪声预测误差，生成反事实解释热图及原图叠加结果。

第20讲：PLATO（Flow2Spatial）空间蛋白重建与跨组学对照

PLATO 平台获得的是蛋白在微流控通道中的投影信号，而不是直接的二维组织图像。Flow2Spatial 利用迁移学习，将这些投影重建为空间蛋白分布。重点学习专用投影数据整理、蛋白空间重建，以及与对应 mRNA 分布的比较。【Cell】

课程内容：

1. 读取 PLATO 蛋白投影数据，识别蛋白、基因和通道信息，按投影角度整理通道。

2. 构建组织掩膜，绘制组织区域与蛋白—通道强度热图。

3. 加载 NbcNet 重建模型，将各蛋白的一维投影重建为 70×70 的二维空间分布。

4. 绘制多蛋白空间分布热图，查看所选蛋白的空间结构特征。

5. 选择两种组学共有的基因，对照组织解剖分区、蛋白分布和 mRNA 分布，输出三联图与结果表。

03

课程时间及费用

AI医学大模型班预计会进行一个多月的系统教学，二十篇文章的ai大模型专题：

• 10月13日晚上开始课前预热，主要是软件安装。

• 10月17日开始，每周二、四、六晚上 7：00-10：0 0上课。

课程分为两个版本：标准版和永久答疑版

标准版原价4380，转发朋友圈积赞三十，还可以再优惠500，优惠后3880

永久答疑版原价6380，转发朋友圈积赞三十，优惠后5880

小咖4号（微信号：xys2019ykh）