网易首页 > 网易号 > 正文 申请入驻

VAE再被补刀!清华快手新模型,训练提效6200%,生成提速3500%

0
分享至

  • 闻乐 发自 凹非寺
  • 量子位 | 公众号 QbitAI

前脚谢赛宁刚宣告VAE在图像生成领域退役,后脚清华与快手可灵团队也带着无VAE潜在扩散模型SVG来了。

该方法实现了在训练效率上62倍、生成速度上35倍的提升。

VAE为何被接连抛弃?主要还是因为语义纠缠的缺陷——语义特征都放在同一个潜空间,调一个数值就会“牵一发而动全身”,比如只想改变猫的颜色,结果体型、表情都跟着变。

和谢赛宁团队极简复用预训练编码器、改造DiT架构,专注于生成性能的RAE不同,SVG通过语义+细节双分支+分布对齐,实现了多任务通用。

下面具体来看。

主动构建语义与细节融合的特征空间

在传统的「VAE+扩散模型」图像生成范式中,VAE的核心作用是将高分辨率图像压缩为低维的潜空间特征(可以理解为图像的简化代码),供后续扩散模型学习生成逻辑。

但这样会使不同类别、不同语义的图像特征会混乱地交织在一起,比如猫和狗的特征边界模糊不清等。

直接导致两个问题:

  • 一是扩散模型训练效率极低,需要数百万步迭代才能勉强理清特征逻辑;
  • 二是生成过程繁琐,往往需要经过几十甚至上百步采样才能输出清晰图像。

并且,生成的特征空间用途单一,除了图像生成,几乎无法适配图像识别、语义分割等其他视觉任务。

面对VAE的困境,谢赛宁团队的RAE技术选择了极致聚焦生成的思路。直接复用DINOv2、MAE等成熟的预训练编码器,不额外修改编码器结构,仅通过优化解码器来还原图像细节,同时针对性地改造扩散模型架构。

最终实现了生成效率与质量的跨越式提升,简单说就是把重心全放在了“把图生成得又快又好”上。

而清华&快手可灵团队的SVG技术,则走了兼顾生成与多任务通用的路线,核心差异就在于对特征空间的构建逻辑上。

RAE是直接复用预训练特征,SVG 则是主动构建语义与细节融合的特征空间。

具体来看,SVG选择以DINOv3预训练模型作为语义提取器。

原因是DINOv3经过大规模自监督学习,能够精准捕捉图像的高层语义信息,让猫、狗、汽车等不同类别的特征边界能够清晰可辨,从根源上解决了语义纠缠问题。

但团队也发现,DINOv3提取的特征偏重于宏观语义,会丢失颜色、纹理等高频细节,因此又专门设计了一个轻量级的残差编码器来进行细节补充,针对性地学习这些被忽略的细节信息。

而为了让「语义」和「细节补充」能够完美融合,SVG还加入了关键的分布对齐机制

这一机制通过技术手段调整残差编码器输出的细节特征,使其在数值分布上与DINOv3的语义特征完全匹配,避免细节信息扰乱语义结构。

实验数据也印证了这一机制的重要性。去掉分布对齐后,SVG生成图像的FID值(衡量生成图像与真实图像相似度的核心指标,数值越低越优)从6.12升至9.03,生成质量大幅下滑。

实验结果显示,SVG在生成质量、效率、多任务通用性上全面超越传统VAE方案。

训练效率方面,在ImageNet 256×256数据集上,SVG-XL模型仅训练80个epoch,在无分类器引导时FID达6.57,远超同规模基于VAE的SiT-XL(22.58);如果延长训练至1400个epoch,FID可低至1.92,接近当前顶级生成模型水平。

推理效率方面,消融实验中,5步采样时,SVG-XL的gFID为12.26,而SiT-XL(SD-VAE)为69.38、SiT-XL(VA-VAE)为74.46。这表明在较少的采样步数下,SVG-XL就能达到较好的生成质量。

不仅是生图,SVG的特征空间继承了DINOv3的能力,可直接用于图像分类、语义分割、深度估计等任务,且无需微调编码器。例如,在ImageNet-1K分类任务中Top-1精度达到81.8%,与原始DINOv3几乎一致;在ADE20K语义分割任务中mIoU达46.51%,接近专门的分割模型。

团队介绍

团队由郑文钊担任项目负责人,目前是加州大学伯克利分校博士后。此前,他在清华大学自动化系获博士学位,研究集中在人工智能和深度学习领域。

同样来自清华自动化系的史明磊和王皓霖目前均在攻读博士学位,研究重点为多模态生成模型。

其中,史明磊透露自己还在创办一家专注于人工智能应用的公司。

Ziyang Yuan、Xiaoshi Wu、Xintao Wang、Pengfei Wan则来自快手可灵团队。

其中,Pengfei Wan是快手可灵视频生成模型负责人。

从谢赛宁团队的RAE到清华快手的SVG,尽管技术路线各有侧重,但从两者的突破可以看出,预训练视觉模型的特征空间,或许已经具备了替代VAE的能力。

论文地址:https://arxiv.org/abs/2510.15301
代码地址:https://github.com/shiml20/SVG

— 完 —

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

政知新媒体
2026-11-21 08:41:16
我国越来越多的人患肺癌?建议:停止食用“6物”,保护肺部

我国越来越多的人患肺癌?建议:停止食用“6物”,保护肺部

路医生健康科普
2026-11-21 13:33:35
真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

火山詩话
2026-11-19 08:41:25
效率太高了!马斯克上午深圳开会,下午飞上海慰问员工,“大合照” 火了,2 个安保人员也能站第一排

效率太高了!马斯克上午深圳开会,下午飞上海慰问员工,“大合照” 火了,2 个安保人员也能站第一排

起点财经
2026-11-21 11:03:28
美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

凡知
2026-11-21 01:31:33
“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

火山詩话
2026-11-21 08:07:08
特朗普回美下飞机前,在空军一号上与人激烈争吵!

特朗普回美下飞机前,在空军一号上与人激烈争吵!

胜研集
2026-11-21 01:33:17
擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

孤城落日
2026-11-21 10:47:05
有人预测:未来五年内,中国股市很可能将消失的5类股票

有人预测:未来五年内,中国股市很可能将消失的5类股票

星语者056
2026-11-21 10:22:33
知情人士:美方要求乌明年1月初与俄达成和平协议

知情人士:美方要求乌明年1月初与俄达成和平协议

界面新闻
2026-11-21 08:00:30
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
掘金pk火箭,约基奇vs申京:最强的策应巨人?

掘金pk火箭,约基奇vs申京:最强的策应巨人?

张佳玮写字的地方
2026-11-21 14:54:14
9战7胜逆袭!太阳拒爵士16分逆转 布克23分榜眼20+10+8

9战7胜逆袭!太阳拒爵士16分逆转 布克23分榜眼20+10+8

醉卧浮生
2026-11-21 13:06:12
赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

人生录
2026-11-20 00:15:04
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
人民日报:唱空中国经济者终会落空

人民日报:唱空中国经济者终会落空

21世纪经济报道
2026-11-21 12:16:38
GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

游民星空
2026-11-20 18:43:22
突发!46岁谢霆锋宣布喜讯!

突发!46岁谢霆锋宣布喜讯!

财经要参
2026-11-21 12:00:05
黄仁勋刚离开英伟达,硅谷就抢着招他,连过失都不计较。他手里1300多亿美元,自己另起一摊更容易,慌的是押注英伟达的人。

黄仁勋刚离开英伟达,硅谷就抢着招他,连过失都不计较。他手里1300多亿美元,自己另起一摊更容易,慌的是押注英伟达的人。

背包旅行
2026-11-21 10:00:13
登峰造极!哈登51+6+6,赛后祖巴茨走过去,一把抱住哈登

登峰造极!哈登51+6+6,赛后祖巴茨走过去,一把抱住哈登

担酒
2026-11-21 11:01:00
2026-11-21 16:23:00
量子位 incentive-icons
量子位
追踪人工智能动态
13707文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
房产
亲子
健康
艺术

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

无障碍浏览 进入关怀版