网易首页 > 网易号 > 正文 申请入驻

DiT突遭怒喷,谢赛宁淡定回应

0
分享至

时令 发自 凹非寺
量子位 | 公众号 QbitAI

什么?有人提出DiT是错的?

这个被认为是扩散模型领域核心基石的DiT,竟然被质疑了。

这位网友表示,不仅数学上是错的,形式上是错的,甚至怀疑DiT根本就没有Transformer?!

一石激起千层浪,网友们速速来围观。结果作者谢赛宁本人都立马站出来回应:

  • 虽然知道楼主是标题党,但我还是忍不住要回应一下。
  • 每个研究者都希望发现自己模型的不足,这是科学进步的动力。如果模型从未出错,反而值得担忧。
  • 评价DiT需要提出假设、做实验、验证结果,而不是凭想象臆断,否则结论不仅可能错误,甚至完全不具科学性。

哇哦,先抨击了标题党,又强调了科学精神和实证方法的重要性,真的是很中肯的一番回应。

回过头来,咱先了解一下DiT为啥那么厉害。

要知道,早在Transformer占尽风头时,U-Net在扩散模型领域仍然一枝独秀——

这时,DiT(Diffusion Transformers)横空出世,将Transformer与扩散模型融合,在计算效率和生成效果上均超越了基于U-Net的经典模型ADM和LDM,同时把Transformer扩展到了图像视频领域。

如果DiT真错了,大量依赖DiT的生成模型都要崩塌,整个领域都得重新审视。

下面让我们来扒一扒这位网友针对DiT提出了哪些质疑。

关于DiT的可疑之处

他的观点均来源于论文《TREAD:Token Routing for Efficient Architecture-agnostic Diffusion Training》。

这篇论文主要提出一种Tread策略,能够将早期层随机选取的token传递至模型的更深层。

值得注意的是,这种方法并不限于常见的Transformer模型,同样可以应用于状态空间模型,且无需对架构进行修改,也无需引入额外参数。

那网友是如何通过这篇论文质疑DiT的呢?

其一,他首先借助论文中的一张图对DiT提出了质疑,认为DiT架构本身就能轻松学会数据集——FID迅速降低,这说明架构里有某种隐含特性。

其二,上图表明Tread模型比DiT在40万次训练迭代上快14倍,比DiT在700万次迭代时的最佳表现快37倍。

由此,这位网友直接抨击,小幅度提升效果可能只是优化,如果提升幅度巨大,就是在否定之前的方法。

其三,质疑者还提出不要使用DiT。

如果你非得在训练时“切掉部分网络”,也就是用学习机制把它彻底禁用,那你的网络基本上就废了。

其四,研究表示,在训练过程中,DiT中被恒等替换的网络单元越多,模型评估反而更好。

其五,DiT整个架构都后置层归一化,扩散过程会产生动态范围极高的实际输出。

因此,需要使用对数尺度来表示采样开始和结束时的信噪比差异。

其六,针对Adaptive Layer Normalization(自适应层归一化)方法,尽管模型叫DiT,但在处理条件输入时,只是走了普通的MLP流程。

能看到的只是label_y→timestep_t→embed→conditioning→MLP→bias terms,根本看不到Transformer的任何痕迹。

上面6条对DiT的反驳,都可以说是有理有据,甚至图文并茂。

那谢赛宁是如何回应的呢?

谢赛宁回应Tread与“DiT是错的”毫无关系

首先,谢赛宁对Tread模型的工作给予了肯定(人情世故)。

他认为Tread更像是随机深度(stochastic depth),其能收敛完全是因为正则化对特征稳健性的提升。

他还指出,尽管Tread模型挺有趣的,但与原帖作者所谓的“DiT是错的”的论断毫无关系。

谢赛宁强调,Lightning DiT作为一种经过验证的强大升级(采用 swiglu、rmsnorm、rope、ps=1),只要条件允许,都推荐优先使用该版本。。

此外,目前还没有证据表明后置层归一化会引发问题。

回击完了质疑者,谢赛宁还不忘总结了一下自己的工作。

他表示:

  • 过去这一年,最大的改进集中在内部表征学习(internal rep learning)上。
  • REPA(Representation Alignment)算是我们最早提出的方法,但现在已经有更多实现方式,比如:tokenizer级别的修正(如va-vae、REPA-E)、将语义token拼接到噪声潜变量中、解耦架构(如DDT)、正则化方法(如 dispersive loss)或自表征对齐(self-representation alignment)等等。

其次,他们团队在训练模型时,始终采用随机插值/流分配来提升训练效果,而SiT则被用作基准方法来评估其他方法是否有效。

在DiT中,时间嵌入最好使用adaln-zero,需注意的是,使用adaln-zero时最好共享参数,否则会白白浪费30%参数,而对于更复杂的分布(如文本嵌入),则使用cross-attention。

最后,谢赛宁也是直接提出sd-vae才是DiT真正的症结所在,处理256×256分辨率的图像竟需445.87 GFlops,还不是端到端的架构。

目前,像va-vae和repa-e这类方法只能解决部分问题,但更多改进方案正在不断涌现。

参考链接:
[1]https://x.com/sameQCU/status/1957223774094585872
[2]https://x.com/sainingxie/status/1957842855587639369
[3]https://arxiv.org/pdf/2501.04765
[4]https://arxiv.org/abs/2212.09748

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
东盟峰会大合照细节曝光,中方表情严肃高市早苗在笑,信息量太大

东盟峰会大合照细节曝光,中方表情严肃高市早苗在笑,信息量太大

叮当当科技
2026-11-18 02:51:52
“深圳人全妆出街迎APEC”上热搜,市民:暂别拖鞋,翻出压箱底的西装皮鞋,平时上班不经常化妆,出门还特地化了妆

“深圳人全妆出街迎APEC”上热搜,市民:暂别拖鞋,翻出压箱底的西装皮鞋,平时上班不经常化妆,出门还特地化了妆

扬子晚报
2026-11-18 12:25:34
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
为什么印度越自信反而越看不清差距

为什么印度越自信反而越看不清差距

小眼睛小世界
2026-11-18 04:28:21
水皮发布辟谣声明:维护资本市场的稳定和发展是每位投资者的责任

水皮发布辟谣声明:维护资本市场的稳定和发展是每位投资者的责任

财闻
2026-11-18 16:39:21
江苏常州一佳人太漂亮了,身高168五官精致,美得让人移不开眼

江苏常州一佳人太漂亮了,身高168五官精致,美得让人移不开眼

陈意小可爱
2026-11-17 14:11:53
张爱萍晚年对秘书坦言:彭德怀坐镇军委时,全军高级将领全部都无条件服从统一指挥,功劳再大资历再老也没例外

张爱萍晚年对秘书坦言:彭德怀坐镇军委时,全军高级将领全部都无条件服从统一指挥,功劳再大资历再老也没例外

磊子讲史
2026-11-12 14:13:18
为什么往死里扫黄?网友分享太真实了,一次说透

为什么往死里扫黄?网友分享太真实了,一次说透

另子维爱读史
2026-05-27 20:16:03
拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

影孖看世界
2026-10-13 23:32:38
这俩,早晚要离?

这俩,早晚要离?

毒舌一姐
2026-11-17 20:30:31
监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

扬子晚报
2026-11-16 12:06:10
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
iPhone Duo人脸解锁引爆热搜!网友:苹果祖宗之法变了

iPhone Duo人脸解锁引爆热搜!网友:苹果祖宗之法变了

快科技
2026-11-17 10:06:33
刘维伟:第一阶段因身体原因耽误了球队,杯赛为我们争取了时间

刘维伟:第一阶段因身体原因耽误了球队,杯赛为我们争取了时间

狼叔评论
2026-11-18 22:48:01
为什么补能空白区先秀机械臂

为什么补能空白区先秀机械臂

小眼睛小世界
2026-11-18 04:33:48
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
如果康熙传位给他,清朝很可能成为超级大国,八国联军不再是威胁

如果康熙传位给他,清朝很可能成为超级大国,八国联军不再是威胁

小豫讲故事
2026-09-20 06:00:17
中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线

中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线

扶苏聊历史
2026-11-18 14:15:42
没人告诉你的真相:真正的高手,都在把别人的恶意,当成免费情报

没人告诉你的真相:真正的高手,都在把别人的恶意,当成免费情报

新时代的两性情感
2026-11-18 06:28:16
周涛与前夫姚科未离婚之前的一张合影照,儒雅的姚科,终究留不住周涛

周涛与前夫姚科未离婚之前的一张合影照,儒雅的姚科,终究留不住周涛

南万说娱26
2026-08-22 08:56:48
2026-11-18 23:59:00
量子位 incentive-icons
量子位
追踪人工智能动态
13695文章数 176601关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
教育
房产
健康
公开课

艺术要闻

洛阳发现唐代墓志,将魏碑、唐楷精髓融于一体,比欧颜柳赵的字更耐看!

教育要闻

老北京“拔根儿”争霸赛,嗨翻校园——

房产要闻

周大生出手!海棠湾又一大商业体来了

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版