网易首页 > 网易号 > 正文 申请入驻

何必DiT!字节首次拿着自回归,单GPU一分钟生成5秒720p视频

0
分享至

金磊 发自 凹非寺
量子位 | 公众号 QbitAI

啪!~~~

一篇入围顶会NeurIPS’25 Oral的论文,狠狠反击了一把DiT(Diffusion Transformer)。

毕竟自打DiT问世以来,视频生成这块,算是被它给稳稳拿捏住了。

但站稳了脚跟,并不意味着没有问题,因为它的计算复杂度高,在资源消耗和速度上有着诸多挑战。

而这篇来自字节跳动商业化技术团队的论文,则是提出了一个名叫InfinityStar的方法,一举兼得了视频生成的质量和效率,为视频生成方法探索更多可能的路径。

像下面这些有趣的动画片片段,便是由InfinityStar亲手打造:

视频地址:https://mp.weixin.qq.com/s/IZb4h4JeVDsRTwautceYrQ

整体来看InfinityStar的亮点,我们可以总结为如下三点:

  1. 首个在VBench上超越扩散模型的离散自回归视频生成器;
  2. 视频生成不用再“慢慢熬”:从百步去噪到自回归,告别延迟
  3. 任务通吃:文生图、文生视频、图生视频、交互式长视频生成等。

值得一提的是,InfinityStar目前的论文、代码、体验地址均已经发布(链接见文末),接下来我们就进一步实测一波~

实测给DiT上了一课的AI视频生成

首先我们来简单了解一下InfinityStar的体验方法。

它的入口就在Discord社区里面,大家登录账号之后,点击下面这个链接即可跳转。
http://opensource.bytedance.com/discord/invite

在左侧导航栏的下方面,便有InfinityStar文生视频、图生视频等各种功能的选项。像刚才展示的视频,便是在“i2v-generate-horizontal-1”中实现:

接下来,我们来一个InfinityStar的文生图和图生视频的联动玩法

首先来到“infinity-8b-generate”,输入下图中的提示词来生成几张图片:

  • A hyper-detailed, ultra-realistic, cinematic portrait of a fluffy white Ragdoll cat with striking sapphire-blue eyes and long black eyelashes. The cat’s expression is calm, poised, and intensely self-assured — its gaze direct, steady, and dignified, conveying quiet confidence and elegant composure……

挑选一张比较满意的图像之后,我们再把图片“喂”到“i2v-generate-horizontal-1”中,配上下面的提示词来生成一段视频:

  • The cat opened its mouth and made a sound, then licked its nose with its tongue.

视频地址:https://mp.weixin.qq.com/s/IZb4h4JeVDsRTwautceYrQ

通过类似的方法,你也可以快速生成各种风格、影视级的镜头:

视频地址:https://mp.weixin.qq.com/s/IZb4h4JeVDsRTwautceYrQ

包括各种运动场景中,人物的复杂动作也是能hold住:

视频地址:https://mp.weixin.qq.com/s/IZb4h4JeVDsRTwautceYrQ

另外,正如我们刚才提到的,作为原生自回归模型,InfinityStar还支持交互式长视频生成

视频地址:https://mp.weixin.qq.com/s/IZb4h4JeVDsRTwautceYrQ

我们只需要先给一段5s的视频,然后InfinityStar能够接受新的提示词,根据参考视频和新的提示词继续往下生成:

为什么能比DiT快这么多?

InfinityStar的核心架构,是一个名叫时空金字塔建模的方法,这正是它能把图像、视频任务统一起来,并且比主流扩散模型快一个数量级的关键所在。

整体来看,InfinityStar借鉴了其前作(如VAR和Infinity)在空间维度上的下一尺度预测思想,并将其巧妙地扩展到时空维度;如此一来便弥补了传统方法往往难以在单一模型中同时处理静态图像和动态视频的问题。

其核心设计是将一个视频分解为两个部分。

1、首帧(外观信息):

视频的第一帧被视为一个独立的图像,采用与Infinity模型一致的图像金字塔进行由粗到精的建模。这一步专门负责捕捉视频的静态外观信息,如场景、物体和风格。

2、后续片段(动态信息):

首帧之后的视频内容被切分为若干个连续的视频片段(Clips)。这些片段金字塔在空间维度之外,额外引入了时间维度,专门负责捕捉视频的动态变化,如运动轨迹和镜头变换。

通过这种“首帧 + 视频片段”的分解策略,InfinityStar成功地将静态外观和动态信息解耦。所有这些金字塔内部(尺度之间)和金字塔之间(片段之间)的依赖关系,都由一个强大的时空自回归Transformer进行建模。

最终,无论是生成图像、生成视频还是图生视频,所有任务都被统一为“预测下一个尺度/下一个片段”的自回归问题,实现了架构的高度统一。

除了整体框架之外,InfinityStar还有两个关键技术。

首先是高效的视觉分词器

为了让Transformer能够处理视觉信息,首先需要将图像和视频翻译成离散的Token。InfinityStar为此训练了一个基于多尺度残差量化的视觉分词器,并提出了两项关键技术来克服训练难题:

  1. 知识继承 (Knowledge Inheritance)

训练一个离散的视觉分词器(Tokenizer)通常非常耗时。研究人员发现,相比于从零开始训练,继承一个已预训练的连续视觉分词器(如Video VAE)的结构和权重,能显著加快离散分词器的收敛速度,使其更快达到高保真度的重建水平。

2. 随机量化器深度 (Stochastic Quantizer Depth)

在视频金字塔中,信息分布存在严重的“不均衡”问题:大部分细节信息集中在最后几个精细尺度上,导致token数量相差几十甚至上百倍。这会妨碍Transformer的学习,使其过度依赖后续尺度,而忽略了决定全局语义的早期尺度。

为此,InfinityStar引入了一种名为随机量化器深度的正则化技术。在训练时,随机丢弃(Discard)后面精细尺度的Token,迫使模型在仅有前面粗糙尺度Token的情况下也能重建出有意义的信息。这使得信息在不同尺度上分布更均衡,显著提升了模型的学习效率和最终的生成质量。

其次是优化的时空自回归Transformer

为了应对视频生成带来的新挑战(如长上下文、时空依赖),InfinityStar对自回归Transformer本身也进行了三项关键改进:

  1. 语义尺度重复 (Semantic Scale Repetition)研究人员观察到,金字塔中靠前的几个尺度(语义尺度)控制着视频的全局信息,如整体布局和运动趋势。为了强化这一点,InfinityStar在预测时将这些语义尺度重复预测N次,允许模型对视频的全局语义信息进行“反复修正”。这一简单而有效的技巧,极大地增强了生成视频在结构上的一致性和运动的流畅性。
  2. 时空稀疏注意力 (Spacetime Sparse Attention)视频生成,特别是长视频,意味着极长的Token序列,这对注意力机制的计算和显存是巨大的考验。InfinityStar设计了一种高效的时空稀疏注意力,它只关注必要的上下文信息(如前一片段的最后一个尺度),从而在保持时间一致性的同时,大大降低了注意力的计算复杂度,使得高质量、长上下文的视频生成成为可能。
  3. 时空RoPE位置编码 (Spacetime RoPE)为了让模型精确感知Token在复杂时空金字塔中的位置,InfinityStar引入了增强版的RoPE位置编码,它同时编码尺度、时间、高度和宽度信息,为Transformer提供了精确的时空坐标感。

总结来看,InfinityStar之所以能做到比DiT快上一个数量级,关键在于DiT需要20–100步去噪迭代,而InfinityStar是纯自回归“一条过”生成;并且离散token+粗到精预测机制,大幅减少inference step数。

在如此方法之下,实验结果显示,在文生图(T2I)任务上,InfinityStar在GenEval和DPG两项基准上取得了优异的表现,尤其在位置、物体关系上展现出了明显的优势。

在文生视频(T2V)任务上,InfinityStar在VBench基准上表现优秀,不仅显著超越了先前所有的自回归模型,甚至取得了比CogVideoX、HunyuanVideo等基于DiT的方法更好的成绩。

在和HunyuanVideo的人类偏好评估中,InfinityStar-8B也取得了比HunyuanVideo-13B更好的效果,尤其是在指令遵循方面展现出了显著的优势。

在视频生成的效率方面,InfinityStar的生成速度比同尺寸的基于DiT的方法(如HunyuanVideo、Wan-Video)快一个数量级,在单张GPU上生成一个5s 720p的视频仅需不到1分钟

总而言之,字节的这篇论文证明了离散自回归模型不仅能快,还能做到好,更是打破了只有扩散才能高清的迷思。

论文链接:
https://arxiv.org/pdf/2511.04675

代码链接:
https://github.com/FoundationVision/InfinityStar

申请体验:
http://opensource.bytedance.com/discord/invite

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
何沁教授逝世

何沁教授逝世

极目新闻
2026-11-21 16:50:35
特朗普在回国的专机上,有件事让他很着急,事关中美的“大买卖”

特朗普在回国的专机上,有件事让他很着急,事关中美的“大买卖”

麓谷隐士
2026-11-21 15:01:54
甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

游民星空
2026-11-21 11:07:36
哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

醉卧浮生
2026-11-21 10:57:09
零跑汽车回应“A10后备厢装几箱啤酒就被压露底”:系物品超过设计承重上限所致,已获得用户理解,后续将优化用车指引

零跑汽车回应“A10后备厢装几箱啤酒就被压露底”:系物品超过设计承重上限所致,已获得用户理解,后续将优化用车指引

台州交通广播
2026-11-21 01:43:49
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

政知新媒体
2026-11-21 09:48:46
浮嶋敏回应0-5:日本20年前也经历过!盼中国足球能认清差距+反思

浮嶋敏回应0-5:日本20年前也经历过!盼中国足球能认清差距+反思

我爱英超
2026-11-21 17:11:33
“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

王老师你还好吗
2026-11-21 13:25:53
别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

命运自认幽默
2026-11-21 07:52:54
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

开成运动会
2026-11-21 11:24:38
美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

麓谷隐士
2026-11-21 07:19:12
外媒:印度东北部发生假酒致人中毒事件,已致至少11人死亡、180余人入院

外媒:印度东北部发生假酒致人中毒事件,已致至少11人死亡、180余人入院

环球网资讯
2026-11-21 16:27:23
七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

珠三角港
2026-11-20 10:44:17
参与军采项目涉嫌违规,顺丰速运、八马茶业等被暂停全军采购资格,自11月19日起生效,范围为全军

参与军采项目涉嫌违规,顺丰速运、八马茶业等被暂停全军采购资格,自11月19日起生效,范围为全军

大风新闻
2026-11-21 17:03:03
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
油还没跌回6块,人已彻底跑光!2026油价“骗局”,终于被揭穿!

油还没跌回6块,人已彻底跑光!2026油价“骗局”,终于被揭穿!

娱乐圈的笔娱君
2026-11-21 05:28:53
江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

指尖新闻沈阳晚报
2026-11-21 08:51:23
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
2026-11-21 18:03:00
量子位 incentive-icons
量子位
追踪人工智能动态
13707文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
旅游
教育
手机
时尚

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

无障碍浏览 进入关怀版