NeurIPS 2025 | 从流形假设视角解析生成式模型反演

模型反演攻击（Model Inversion Attack, MIA）是一类通过访问训练好的模型，重建具有代表性类别样本的隐私攻击方法。近期的生成式 MIA 借助生成对抗网络（GAN）学习图像先验，从而在反演过程中生成高保真且语义一致的图像。然而，这类方法的成功机制仍缺乏理论解释。本文从流形假设（manifold hypothesis）出发，首次从几何视角系统分析生成式 MIA 的本质。研究发现，生成式反演过程在反向传播中隐式地对梯度进行了“几何去噪”：通过将损失梯度投影到生成器流形的切空间，去除了偏离流形的噪声分量，并保留了与流形一致的语义方向。进一步实验证明，当模型的损失梯度与生成器流形更加对齐时，模型对 MIA 的脆弱性会相应增强。基于这一发现，本文提出AlignMI，一种通过增强梯度-流形对齐来提升反演性能的高效方法。

论文题目： Generative Model Inversion Through the Lens of the Manifold Hypothesis 论文链接： https://arxiv.org/abs/2509.20177 代码链接： https://github.com/tmlr-group/AlignMI

早期的 MIA 方法由 Fredrikson 等人提出，其核心思想是直接在输入空间中进行优化，通过梯度下降寻找最大化目标类别预测分数的输入。然而，当目标模型为深度神经网络（DNN），且训练数据为高维自然图像时，这种直接优化往往难以产生语义合理的样本。根本原因在于：自然图像并非均匀分布于高维输入空间，而是集中分布在一个低维流形上（即“流形假设”）。因此，简单的梯度优化常导致生成的样本偏离图像流形，出现噪声和伪特征，无法反映真实的类别语义。为了解决这一问题，Zhang等人提出了一种基于生成对抗网络（GAN）的生成式模型反演方法，通过学习分布先验来约束攻击优化空间，使其集中在有意义的流形上，该思路显著改善了重建样本的视觉质量与语义一致性，为高维数据条件下的模型反演夯实了重要基础。

图1： 生成式MIA框架和损失梯度可视化

尽管生成式 MIA 在实践中表现出色，其背后为何能够有效提取模型中潜藏的私有信息，却仍缺乏系统的解释。如图 1(a) 所示，生成式反演通过反演阶段的分类损失梯度从目标模型中提取隐私信息；图 1(b) 展示了在高分辨率设置下对 PPA 方法的损失梯度可视化，比较了交叉熵损失与庞加莱损失。在这两种情况下，梯度均呈现出显著的噪声特征。

二、问题分析与方法提出

生成式MIA通过利用反演时损失梯度对目标模型中编码的隐私信息进行挖掘，以达到重建训练数据的目的。基于梯度所呈现出的显著噪声特征，我们尝试从几何的角度进行分析，发现生成式MIA能够奏效的原因在于其隐式地对损失梯度进行了去噪处理。具体而言，如图2所示，在模型反演过程中，生成式 MIA 将损失梯度投影到生成器流形的切空间上。这一过程保留了与流形对齐的方向，同时过滤掉了偏离流形的噪声成分。

图2： 损失梯度投影到生成流形的几何解释

我们又通过测量损失梯度与生成器流形之间的对齐程度，发现模型的损失梯度中包含的有效信息有限。如图 3 所示，在高分辨和低分辨两种实验场景下，损失梯度往往都与生成器流形的切空间存在较大偏差，这表明损失梯度中与流形对齐的、富有语义的成分较少，而噪声成分占比较大。这种有限的有效信息限制了生成式 MIA 在反演过程中从目标模型中提取私有信息的能力，从而影响了其反演性能。

左：低分辨率（DCGAN）中：高分辨率（StyleGAN）右：反演过程动态 图3： 反演过程中的梯度流形对齐

根据以上的几何分析和实验观察，我们提出了一个假设：当模型的损失梯度与生成流形的切空间更加一致时，模型往往更容易受到生成式 MIA 的影响。为了验证这个假设，我们设计了一个新颖的训练目标，通过在标准分类损失的基础上添加一个几何对齐项，显示地促进损失梯度与生成器流形之间的对齐程度。具体而言，我们利用预训练的变分自编码器（VAE）来估计数据流形的切空间，并在训练过程中鼓励模型的输入梯度与估计的流形切空间对齐。

图4：梯度-流形对齐的实证评估图5：MIA 在具有不同对齐分数的vanilla模型和对齐感知模型上取得的反演性能

表1：原始模型和三种对齐感知模型的对齐分数、测试准确率和反演性能

假设验证的实验结果如图4、图5和表1所示。图 4（a）表明随着训练时对齐分数的增加，模型的测试准确率呈现下降趋势，说明模型的梯度-流形对齐程度和泛化性能之间存在权衡。图 4（b）表明训练时梯度-流形对齐程度的增加会导致反演时梯度-流形对齐程度的增加。图 4（c）则表明使用标准损失函数训练得到的模型，在测试准确率有差异的情况下，梯度-流形对齐程度也几乎一致。这些结果验证了我们提出的流形对齐训练目标函数的有效性。图 5 则比较了具有不同对齐分数的模型在 GMI (LOM) 攻击方法下的脆弱性，结合表 1 的数据，揭示了模型脆弱性与梯度-流形对齐之间的”倒置 V 形”关系，即模型的 MIA 脆弱性随着对齐分数的增加先增加后减少，说明梯度-流形对齐创造了一个新的攻击面，从而验证了我们提出的假设。

那么进一步的，我们提出了一个自然的问题：能否在反演阶段，通过增强梯度与流形的对齐程度，来提升生成式 MIA 的性能？为此，我们提出了一种全新的免训练（training-free）方法AlignMI，在不修改模型参数的前提下，通过在反演过程中主动增强梯度与生成器流形的对齐程度提升生成式 MIA 的性能，核心思想是在合成输入的局部邻域内采样多个变体，并平均相应的损失梯度，从而削弱噪声的、偏离流形的分量，同时增强与生成器流形对齐的一致方向，产生更具语义信息量的梯度信号。其中，扰动平均对齐（PAA）通过在合成输入的局部邻域内添加随机扰动来生成多个样本变体，变换平均对齐（TAA）则采用语义不变的图像变换（如随机裁剪、翻转等）来生成样本变体。具体步骤如下：

1. 局部邻域采样 ：

   在合成输入的局部邻域内添加随机扰动或应用语义不变的图像变换生成多个样本变体。

2. 损失梯度计算 ：

   对每个采样的样本变体，计算其损失梯度。

3. 梯度平均处理 ：

   将采样得到的多个样本变体的损失梯度进行平均，得到一个平滑且更具语义信息的梯度估计。

4. 优化更新 ：

   利用平均后的梯度估计来更新生成器的输入隐变量，从而优化合成输入，指导合成输入向更符合目标类别特征的方向变化。

如表 2 所示，将 PPA 方法与 PAA 和 TAA 策略结合后，所有关键指标均呈现改进趋势。在 ResNet-18 、DenseNet-121 和 ResNeSt-50三个模型上，PAA 策略和TAA 策略都使 Acc@1 得到提升，并让KNN Dist 有所下降。这些结果表明， AlignMI 方法能有效增强模型反演攻击的性能，验证了其在提升梯度-流形对齐方面的有效性。

四、总结与展望

本文从几何角度深入分析了生成式模型反演攻击的有效性，揭示了其隐含的梯度去噪机制。基于此，研究提出了增强模型反演性能的新方法 AlignMI，并通过实验验证了其有效性。这一成果不仅增进了对生成式 MIA 的理解，还为开发更强大的防御策略提供了新视角。未来研究将进一步探索如何在高分辨率设置下降低计算成本，以及如何缓解梯度-流形对齐与模型泛化性能之间的权衡问题。

来源：公众号【HKBU计算机系】

llustration From IconScout By IconScout Store

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

michellechang@thejiangmen.com

或添加工作人员微信（michelle333_）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈