超低标注需求，实现医学图像分割！UCSD提出三阶段框架GenSeg

新智元报道

编辑：LRST

【新智元导读】GenSeg用AI生成高质量医学图像及对应分割标注，在仅有几十张样本时也能训练出媲美传统深度模型的分割系统，显著降低医生手工标注负担。

医学图像语义分割是现代医疗中的关键环节，广泛应用于疾病诊断、治疗规划、手术辅助等任务中。从皮肤病变到眼底病灶、从肿瘤边界到器官结构，精准的像素级分割结果对于临床医生具有极高价值。

随着深度学习的发展，医学图像语义分割的准确性显著提升，但一个普遍的核心难题依然存在——对大量高质量标注数据的依赖。

在医疗领域中，标注一个分割样本意味着：专业人员需逐像素勾画病灶区域；每张图像的标注常耗时数十分钟甚至更久；而且数据受限于隐私保护等合规限制。

这使得我们在许多真实临床场景中，面临超低数据的困境：数据少，难以训练出性能可靠的模型；而没有数据，则深度学习寸步难行。

尽管已有一些尝试（如数据增强、半监督学习），但它们仍存在关键局限：数据增强和分割模型训练分离，生成的样本无法很好的提升分割模型的性能；半监督方法依赖海量未标注图像，而这些在医疗领域仍存难以获得。

针对上述问题，加州大学圣地亚哥分校的研究团队提出了GenSeg，一种用于训练语义分割模型的三阶段框架，该框架中数据增强模型的优化和语义分割模型的训练紧密耦合，确保了数据增强模型生成的样本可以有效的提升分割模型的性能。

论文地址：https://www.nature.com/articles/s41467-025-61754-6

代码地址：https://github.com/importZL/GenSeg

GenSeg可以被应用到不同的分割模型，比如UNet和DeepLab来提升他们在in-domain（测试数据和训练数据来自于同一数据集）和out-of-domain（测试数据和训练数据来自于不同数据集）场景下的性能。

通过采用对应的数据生成模型和语义分割模型，GenSeg可以被应用到3D数据分割任务。

GenSeg三层优化训练框架

该论文近日被国际著名期刊Nature Communications正式接收。

第一作者为博士生Li Zhang，通讯作者为该校副教授Pengtao Xie，团队其他成员还包括Basu Jindal，Ahmed Alaa，Robert Weinreb，David Wilson，Eran Segal，James Zou。

技术核心

GenSeg包含两个主要组件：

1. 语义分割模型，负责预测输入图像的语义分割掩膜；

2. 掩膜到图像的生成模型，用于预测输入掩膜对应的图像。

其中GenSeg对普通的生成模型进行了修改，使其的模型结构可以在训练过程中进行优化。

整个GenSeg框架由三个阶段构成，采用端到端的训练方式：

首先，我们使用真实的图像-掩膜来训练生成模型的参数，其模型结构在该阶段是固定的；

接下来，对真实分割掩膜进行增强，生成新的掩膜，再通过使用上一阶段训练好的生成模型生成对应的医学图像，构成合成图像-掩膜对，将其与真实样本共同用于训练分割模型；

最后，将训练好的分割模型在真实验证集上评估，并根据验证损失反向更新生成模型的结构。

之后再次进入阶段1，开启新一轮的训练-生成-优化循环，直至收敛，可以将上述过程整合成一个多层优化框架：

其中，G表示数据生成模型中的生成器，H表示数据生成模型中的判别器，A表示生成器的模型结构参数，S表示语义分割模型，表示用于训练生成器的数据，表示用于训练分割模型的数据，表示用于更新生成器结构的验证数据。

GenSeg通过一个以分割性能为直接优化目标的多层级优化过程，生成高保真度的图像-掩膜对，确保合成数据不仅质量优异，同时能有效提升下游模型的训练效果。

不同于传统的数据增强方法，GenSeg实现了与分割任务深度耦合的端到端数据生成；也区别于半监督方法，GenSeg无需依赖任何额外未标注图像。

作为一个通用、与模型无关的框架，GenSeg 可以无缝集成到现有的医学图像分割模型中，助力构建更高效、更低成本的训练体系。

实验结果

相比传统方法，GenSeg 在显著减少训练样本的同时，仍可达到相当甚至更优的分割性能。

不同方法在训练样本数量（x轴）与分割性能（y轴）之间的关系。

越接近图中左上角的方法，表示越具样本效率（即用更少数据达成更高性能）。

在所有实验中，GenSeg的表现始终接近左上角，远优于主流基线方法。子图a和b分别表示在in-domain和out-of-domain场景下的实验结果。

在in-domain实验中，GenSeg显示出显著的样本节省效果，比如在足部溃疡分割实验中，要达到Dice分数约0.6，UNet需600张图像，GenSeg-UNet仅需50张，减少12倍的数据量；

在out-of-domain实验中，在皮肤病变分割任务中，GenSeg-DeepLab仅使用40张ISIC图像即可在DermIS测试集上达到Jaccard指数0.67，而标准DeepLab在使用200张图像时仍未达到这一水平。

通过和分离式策略对比，GenSeg的端到端数据生成机制的合理性得以验证。

在分离式策略中，图像生成模型与分割模型是分开训练的：首先训练好生成器后固定，然后再用其生成的数据去训练分割模型。

实验结果表明，GenSeg的端到端联合优化机制显著优于分离式策略。

比如，在胎盘血管分割任务中，GenSeg-DeepLab实现了0.52的Dice分数，相比之下Separate-DeepLab仅为0.42

研究人员进一步探究了GenSeg的优势是否依赖于某一类特定的生成模型。

默认情况下，GenSeg使用的是基于GAN的Pix2Pix模型。

为此，实验中额外测试了两种替代生成模型：基于扩散模型的BBDM和基于变分自编码器的Soft-intro VAE。对于每种生成模型，都分别测试了分离式训练与端到端训练两种策略。

上图中的实验结果清晰地表明两点：

1. 无论使用哪种生成模型，端到端训练策略几乎总是优于分离式训练策略；

2. 在所有组合中，端到端的扩散模型（BBDM）通常带来最优的分割性能，但通过实验发现它也带来了显著更高的计算成本。

这说明端到端优化机制是 GenSeg 成功的通用核心原则，不依赖特定模型；更强大的生成模型（如扩散模型）在性能上确有进一步提升空间，但需权衡计算效率与成本。

总结

GenSeg 通过创新的端到端生成式框架，成功突破了医学图像分割中极少标注数据难以支持模型训练的关键瓶颈。

不同于传统生成模型将数据生成与图像分割训练分开来的做法，该方法通过多层级优化策略实现端到端的数据生成流程，将模型结构可优化的条件式生成模型与图像语义分割模型深度耦合，使分割性能直接反向指导数据生成过程，从而生成更有助于提升分割效果的样本。

GenSeg在涵盖多种疾病、器官与成像模态的11个医学图像分割任务和19个数据集上展现出强泛化能力。

在同域与跨域设定下均可带来10–20%的绝对性能提升，且所需的训练数据量仅为现有方法的1/8到1/20，大大提高了深度学习在数据匮乏医学图像场景下的可行性与成本效率。

参考资料：

https://www.nature.com/articles/s41467-025-61754-6