智猩猩AI整理
智象元一投稿
文本到视频模型让人们能够用自然语言生成生动的视频,但强大的生成能力也带来了不安全内容和人物身份滥用等问题。概念擦除希望在保留模型生成能力的同时,抑制指定内容。
然而,在视频中擦除一个目标,往往还会改变周围的背景、光照和人物动作。如何让模型准确擦除不希望出现的概念,同时尽量保留原有画面?
针对这一挑战,智象元一(HiDream.ai)与中国科学技术大学团队提出了EraseSAE,将稀疏自编码器引入文本到视频扩散模型的概念擦除。该方法通过“分解—归因—擦除”流程,识别与目标概念相关的稀疏特征,并利用动态时空掩码引导局部干预,在概念擦除效果与视频内容保持之间取得了更好的平衡。研究已被ECCV 2026接收,代码现已开源。
![]()
论文题目:EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders
01
研究背景与动机
现有概念擦除方法通常通过调整文本条件、修改模型参数或干预中间特征来抑制目标内容。当这些方法应用到视频生成时,主要面临以下问题。
局部目标带来全局影响。 目标可能只出现在某几帧、某一小块区域,但全局施加的擦除操作会影响整段视频,使非目标区域也发生变化。
目标位置随生成过程变化。 扩散模型从粗略结构逐渐生成细节,同一概念的激活范围也会不断变化。固定区域的干预难以持续跟踪目标,还可能引入跨帧不一致。
EraseSAE 的解决思路是:先利用稀疏自编码器把纠缠的内部表示分解成更容易识别的稀疏特征,再找到目标概念对应的特征,并根据它们的实时响应确定干预区域。这让概念擦除同时具备语义上的选择性和空间上的局部性。
02
技术揭秘
![]()
1.分区卷积稀疏自编码器
稀疏自编码器(SAE)可以把复杂的内部激活分解成更易分析的稀疏特征。团队设计的分区卷积稀疏自编码器PConvSAE用卷积处理视频模型中间特征,保留每帧的空间布局。
PConvSAE 包含两个独立分支:上下文分支学习背景、场景布局等信息,概念分支学习目标相关的局部特征,并为不同目标划分独立通道,减少相互干扰。稀疏激活机制选出空间响应较强的少量通道,同时保留其空间分布。
训练时,模型自身的注意力机制提供目标区域的监督信号,无需额外的人工区域标注。配合区域重构、概念泄漏约束和时间一致性损失,两个分支逐步形成分工,为后续定位与擦除提供基础。
2.对比归因锁定目标特征
EraseSAE 对比是否包含目标概念的正负样本对,筛选真正与目标相关的特征。优先保留对目标响应强、明显高于其他概念与背景,并在多个正样本中稳定出现的特征。例如,擦除人物身份时,需要区分“对这个人的身份特征敏感”和“对一般人脸敏感”。归因离线完成,推理时直接使用已锁定的特征集合。
3.动态时空掩码引导局部擦除
在设定的去噪干预区间内,EraseSAE 每一步都会重新读取稀疏特征响应。上下文分支提供前景范围的线索,目标特征提供概念位置的线索,两者共同形成动态时空掩码,跟踪不同视频帧和去噪步骤中的目标区域。
随后,方法通过空间调制的无分类器引导(SM-CFG),在掩码覆盖的位置将生成结果引向安全的替代语义,掩码外则保留原始条件预测。例如,抑制人物身份时,重点改变与身份相关的局部内容,尽量保留人物动作与周围场景。
03
实验结果
1.定量结果
EraseSAE在 CogVideoX-5B 和 HunyuanVideo 上开展了裸露内容擦除与公众人物身份擦除实验,并且在大多数指标上都稳定优于现有方法。
在裸露内容擦除任务中,两个模型的检测率分别从原始模型的 28.25% 和 68.13% 降至 2.62% 和 7.13%,在论文比较的方法中均为最低。同时,EraseSAE 的 SSIM 在两个模型上也均为最优,说明较强的目标抑制没有以大范围改变画面为代价。
![]()
身份擦除实验覆盖五位公众人物。EraseSAE 在降低目标身份平均检测率的同时,获得了更高的平均 SSIM。对其余未擦除身份的保持率分别为 58.60% 和 61.50%,表明目标身份抑制与其他身份的生成能力能够得到较好的兼顾。
![]()
2.定性结果(视频+可视化图片)
(1)裸露内容擦除
![]()
(2)公众人物身份擦除
![]()
04
结语
EraseSAE 将稀疏特征分析与视频生成控制结合起来:通过 PConvSAE 分离场景上下文与目标概念,通过对比归因筛选目标特征,再用动态时空掩码约束擦除范围。实验结果表明,这一路径能够在抑制目标内容的同时,更好保留视频原有的结构与语义,为文本到视频模型的精细化安全控制提供了新的方法。
关注+星标,获取AI前沿进展与开源一线动态
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.