网易首页 > 网易号 > 正文 申请入驻

Self-Forcing++:让自回归视频生成模型突破 4 分钟时长极限

0
分享至

本工作由加州大学洛杉矶分校与字节 Seed 等团队联合完成。

在扩散模型持续引领视觉生成浪潮的今天,图像生成早已臻于极致,但视频生成仍被一个关键瓶颈困住——时长限制。目前多数模型还停留在数秒短视频的生成,Self-Forcing++让视频生成首次跨入4 分钟高质量长视频时代,且无需任何长视频数据再训练。先展示一段 100 秒的生成视频:

  • 论文标题:Self-Forcing++: Towards Minute-Scale High-Quality Video Generation
  • 论文地址:https://arxiv.org/abs/2510.02283
  • 项目主页:
  • https://self-forcing-plus-plus.github.io
  • 代码:https://github.com/justincui03/Self-Forcing-Plus-Plus

研究背景:

为什么长视频生成如此困难?

在扩散模型驱动的视觉生成领域,从 Sora、Wan、Hunyuan-Video 到 Veo,视频模型正不断逼近真实世界。然而几乎所有主流模型都有一个共同限制:只能生成数秒的短片段。

这背后的原因在于架构层面的「先天缺陷」:

  • Transformer 的非因果性—— 传统扩散 Transformer (DiT) 需要同时看到所有帧,无法自然地逐帧扩展;

  • 训练-推理不匹配—— 模型在训练时只见过 5 秒短片,却在推理时要生成几十秒甚至几分钟;

  • 误差累积—— 教师模型在每一帧提供强监督,但学生模型在长序列中没有应对逐步误差的能力;

  • 过曝与冻结—— 长时间生成后常出现画面静止、亮度漂移、运动中断等「灾难性崩塌」。

这些问题共同导致:即使最先进的自回归视频扩散模型,也难以在 10 秒以上保持画面一致与运动连贯。

核心思想:

教师模型即世界模型

Self-Forcing++ 的关键洞察是:

  • 教师模型虽然只会生成 5 秒视频,但它依然掌握纠错长视频失真的能力。

研究者利用这一点,让学生模型先自己生成长视频(即使这些视频已经开始「崩坏」),再用教师模型来纠正它的错误。

经过这种「生成→失真→再纠错→再学习」循环,模型逐步学会了在长时间尺度下自我修复和稳态生成。这一机制让 Self-Forcing++ 无需任何长视频标注,就能把生成时长从 5 秒扩展到 100 秒,甚至 4 分钟 15 秒(达到位置编码极限的 99.9%)。

技术解析:

关键的三步让模型稳定生成超长视频

1️⃣反向噪声初始化(Backward Noise Initialization)

在传统短视频蒸馏中,模型每次都从随机噪声生成。

Self-Forcing++ 改为在长视频 roll-out 后,把噪声重新注入到已生成的序列中,使后续帧与前文保持时间连续性。

这一步相当于让模型「重启但不失忆」,避免时间割裂。

2️⃣扩展分布匹配蒸馏(Extended DMD)

作者将原本只在 5 秒窗口内进行的教师-学生分布对齐,扩展为滑动窗口蒸馏:

学生先生成 100 秒长视频 → 随机抽取其中任意 5 秒片段 → 用教师分布校正该片段。

这样,教师不必生成长视频,也能「局部监督」学生的长序列表现,从而实现长期一致性学习。

3️⃣滚动 KV 缓存(Rolling KV Cache)

以往自回归模型(如 CausVid)在推理时使用滚动缓存,但训练时却仍用固定窗口,造成严重偏差。

Self-Forcing++在训练阶段也同步采用滚动缓存,实现真正的训练-推理对齐,彻底消除了「曝光漂移」和「帧重复」的问题。

进一步优化:

强化学习加持的时间平滑

在部分极长视频中,模型仍可能出现突然跳帧或场景突变。

研究者借鉴强化学习中的Group Relative Policy Optimization (GRPO)框架,引入光流平滑奖励(Optical-Flow Reward),让模型通过惩罚光流突变来学习更自然的运动过渡。结果显示:光流方差显著下降,视频流畅度显著提升。整体的算法可以归纳为下面的流程。

实验结果:

在 50、75 和 100 秒的视频生成评测上全面超越基线

测试设置

  • 模型规模:1.3B 参数(与 Wan2.1-T2V 相同)
  • 对比方法:CausVid、SkyReels-V2、MAGI-1、Self-Forcing 等
  • 评估指标:VBench + 新提出的 Visual Stability(视觉稳定性)

主要成果

以下表格展示的是在 VBench 上和使用 Gemini-2.5-pro (Visual Stability) 上的测试结果。

如下图所示,在 0-100 秒的生成结果上,Self-Forcing++ 都能保持很好的稳定性,基线模型大多数都会经历严重的质量下降,比如过曝光和错误累积。

可视化展示:

更多的超长视频展示

在这些长视频中,Self-Forcing++ 始终保持稳定亮度与自然运动,视觉效果几乎无明显劣化。

Scaling 现象:

训练算力 ×25 → 255 秒视频

作者进一步探究「算力与时长」关系,在可视化生成过程中有以下发现:

这说明可能无需长视频数据,只要扩展训练预算,即可延展生成时长。

局限与展望

虽然自回归视频生成已经能达到分钟级别,但是目前依旧有以下问题有待提高:

  • 长时记忆缺失:极长场景下,仍可能丢失被遮挡物体的状态;
  • 训练效率较慢:自回归训练成本高,比 teacher-forcing 训练速度慢。

更多演示视频和我们的方法请参考我们的主页。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
新一轮制裁开启,A股失守3600点

新一轮制裁开启,A股失守3600点

睿知睿见
2026-11-18 07:23:02
刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

韩小娱
2026-11-18 08:10:38
克里米亚议长:泽连斯基害怕返回乌克兰,因此大部分时间待在国外

克里米亚议长:泽连斯基害怕返回乌克兰,因此大部分时间待在国外

麓谷隐士
2026-11-18 00:40:04
忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

锐评利物浦
2026-11-18 10:15:40
李女士的悲剧,痛惜,痛惜!

李女士的悲剧,痛惜,痛惜!

新动察
2026-11-18 10:01:19
深圳APEC领导人会议今日开幕,你必须知道的10件事

深圳APEC领导人会议今日开幕,你必须知道的10件事

刘润
2026-11-18 08:07:50
售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

邻居的小蜘蛛
2026-11-17 16:27:34
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
英伟达临时CEO证实:H200正式退出对华销售

英伟达临时CEO证实:H200正式退出对华销售

快科技
2026-11-18 11:37:03
男性黄金体重公布,过瘦过胖都不好,170、175、180 厘米各参考

男性黄金体重公布,过瘦过胖都不好,170、175、180 厘米各参考

牛锅巴小钒
2026-11-18 13:05:17
宁波:高速堵满了集卡,夜市却空了一半

宁波:高速堵满了集卡,夜市却空了一半

茶狐看世界本尊
2026-11-18 13:25:44
姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

八怪娱
2026-11-18 09:29:26
比2-2更扎心的,是巴林主帅桑切斯赛后的表态,简直是对国足的双重羞辱

比2-2更扎心的,是巴林主帅桑切斯赛后的表态,简直是对国足的双重羞辱

南海浪花
2026-11-18 01:30:46
老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

秋风妃
2026-11-17 22:55:03
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
大厂主动报案,副总裁被警方带走

大厂主动报案,副总裁被警方带走

中国新闻周刊
2026-11-17 23:06:06
全球化退潮,APEC如何寻找新定位?

全球化退潮,APEC如何寻找新定位?

凤凰WEEKLY
2026-11-18 14:59:22
元首外交“深圳时间”开启,密集会晤聚焦哪些重要话题?

元首外交“深圳时间”开启,密集会晤聚焦哪些重要话题?

上观新闻
2026-11-18 12:16:34
老婆跟男邻居旅游七天,回来往我身边凑,我推开她说了一句话

老婆跟男邻居旅游七天,回来往我身边凑,我推开她说了一句话

雾岛夜话
2026-05-27 17:28:50
2026-11-18 15:48:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
家居
健康
时尚
房产

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

家居要闻

2026建博会(广州) 公装联探展交流活动

情绪真能让健康人"伤心至死"?

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版