网易首页 > 网易号 > 正文 申请入驻

ECCV 2026 | 实时导演多镜头长视频! 港中文&快手可灵发布ShotStream

0
分享至



本文第一作者罗亚文,香港中文大学 MMLab 博士一年级在读,研究方向为视频生成,导师为薛天帆教授。

个人主页:https://luo0207.github.io/yawenluo/

作为 AI 视频创作者,你是否曾梦想拥有属于自己的监视器,真正体验一把实时导演的爽感?

现在,生成几秒的单镜头已经不是难事。但是,一旦涉及到生成多镜头长视频,往往就像是在开盲盒:用户写好几百字的剧本,把所有分镜的提示词一次性喂给大模型,然后苦等半小时。哪怕中间只崩了一个镜头,也只能硬着头皮全部推倒重来,缺乏交互性延迟极高

为了打破多镜头长视频面临的高延迟、零交互困境,香港中文大学与快手可灵团队联合提出了首个实时流式多镜头长视频生成框架 ——ShotStream。该研究打破了传统双向架构的限制,将多镜头合成定义为基于历史上下文的下一镜头生成任务,用户可以通过动态流式提示词在运行时动态指导叙事走向!更令人振奋的是,ShotStream 模型在单张 H200 GPU 上实现了 16 FPS 的推理速度,相较于双向模型,将生成效率提升了 25 倍以上,为实时的互动故事创作铺平了道路。该工作已被计算机视觉顶级会议 ECCV 2026 接收,其训练、测试代码和模型均已开源。



  • 论文标题:ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
  • 项目主页:https://luo0207.github.io/ShotStream/
  • 论文:https://arxiv.org/pdf/2603.25746
  • 代码:https://github.com/KlingAIResearch/ShotStream



视频链接:https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg

ShotStream 能力展示



视频链接:https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg



视频链接:https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg



视频链接:https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg



视频链接:https://mp.weixin.qq.com/s/ntOrOJqZ8N1kK-5po9zYXg

更多例子请参阅原论文与项目主页。

ShotStream 创新点

要在低延迟下实现流式生成,并且保证长视频的多镜头之间的连贯性,ShotStream 的主要创新点是:

  • 提出了首个实时流式多镜头长视频生成架构:用户可以在生成过程中通过流式提示词动态调整正在发展的故事情节,突破了传统双向架构的限制,实现了真正的交互式叙事。
  • 设计了一个高效的双缓存记忆框架:为了保证多镜头间的一致性,该工作提出了双缓存记忆机制。其中,全局缓存 (Global Cache) 保证跨镜头间一致性,局部缓存 (Local Cache) 维持单镜头流畅。然而,直接使用双缓存会导致自回归生成中的时序错乱歧义,模型在流式生成的时候会混淆信息,为了解决这个问题,该工作提出了 RoPE 旋转位置编码残差对双缓存进行区分,在无需引入额外复杂模块的情况下,消除了歧义,保证了蒸馏过程的稳定性。
  • 提出了一种两阶段自强制(Self-Forcing)蒸馏策略: 为了解决模型在流式生成长视频中的误差累计问题,该工作提出了两阶段自强制(Self-Forcing)蒸馏策略,实现了训推一致,让模型学会在不完美中自我纠偏,有效克服了多镜头长视频生成的误差累积。

ShotStream 算法解读

阶段一:双向下一个镜头预测模型训练



如上图所示,首先将双向文生视频模型微调为一个双向的 “下一镜头” 教师模型,使其具有根据历史帧生成下一个镜头的能力。此外,为了避免数百帧的历史镜头导致显存爆炸,作者设计了动态采样策略,提取出稀疏的历史上下文帧。随后,通过 Token 拼接机制,将上下文特征与目标噪声送入 DiT 模型。

阶段二:因果模型蒸馏



紧接着,利用分布匹配蒸馏(DMD)技术,缓慢的双向教师模型被蒸馏为一个仅需 4 步去噪的流式因果学生模型,从而实现了 25 倍以上的推理加速和 16FPS 的实时生成。

双缓存机制与不连续 RoPE

在多镜头自回归生成中,模型很容易混淆历史画面和当前正在生成的画面。为此,作者巧妙设计了双缓存记忆机制:全局缓存负责存储稀疏条件帧以维持跨镜头一致性,局部缓存负责存储当前镜头刚生成的帧以维持单镜头内的一致。

考虑到同时查询两个缓存会带来时间维度上的歧义,作者对模型原有的旋转位置编码进行了改进,提出了不连续 RoPE。即在每次镜头切换的边界处,对时间维度的 RoPE 施加一个离散的相位偏移。这显式地解耦了全局与局部上下文,让模型能够无需引入任何额外的复杂网络模块,精准区别不同缓存,确保了蒸馏过程的稳定性。

两阶段自强制蒸馏(Self-Forcing)

自回归生成长视频最大的痛点在于误差累积。为了缓解该问题,作者设计了两阶段自强制蒸馏训练:第一阶段,在单镜头内利用真实的 Ground-Truth 历史画面进行训练,让模型具有基础的下一个镜头生成能力;第二阶段,跨镜头利用模型自己生成的历史画面作为条件进行训练。两阶段训练策略解决了训练与推理之间的差异,逼迫模型学会在自己的不完美中进行纠偏,大幅提升了多镜头长视频的画质稳定性和连贯性。

实验结果

ShotStream 在跨镜头一致性、镜头切换控制、文本对齐度等各项多镜头长视频核心指标上,均显著优于或比肩 Mask2DiT、CineTrans 等现有双向模型,以及 LongLive 等自回归模型。同时,实现了 16FPS 的实时生成。



总结

ShotStream 作为首个多镜头长视频生成模型,其创新的双缓存记忆机制及两阶段蒸馏方法,以及单卡 16FPS 的卓越性能表现,验证了实时流式多镜头长视频生成模型的巨大潜力。同时,其模型与训练、测试代码的开源也将为社区的相关研究提供强有力的支持,有望推动 AIGC 视频创作进入一个交互更实时、叙事更自由的新阶段!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

政知新媒体
2026-11-21 08:41:16
我国越来越多的人患肺癌?建议:停止食用“6物”,保护肺部

我国越来越多的人患肺癌?建议:停止食用“6物”,保护肺部

路医生健康科普
2026-11-21 13:33:35
真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

火山詩话
2026-11-19 08:41:25
效率太高了!马斯克上午深圳开会,下午飞上海慰问员工,“大合照” 火了,2 个安保人员也能站第一排

效率太高了!马斯克上午深圳开会,下午飞上海慰问员工,“大合照” 火了,2 个安保人员也能站第一排

起点财经
2026-11-21 11:03:28
美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

凡知
2026-11-21 01:31:33
“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

火山詩话
2026-11-21 08:07:08
特朗普回美下飞机前,在空军一号上与人激烈争吵!

特朗普回美下飞机前,在空军一号上与人激烈争吵!

胜研集
2026-11-21 01:33:17
擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

孤城落日
2026-11-21 10:47:05
有人预测:未来五年内,中国股市很可能将消失的5类股票

有人预测:未来五年内,中国股市很可能将消失的5类股票

星语者056
2026-11-21 10:22:33
知情人士:美方要求乌明年1月初与俄达成和平协议

知情人士:美方要求乌明年1月初与俄达成和平协议

界面新闻
2026-11-21 08:00:30
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
掘金pk火箭,约基奇vs申京:最强的策应巨人?

掘金pk火箭,约基奇vs申京:最强的策应巨人?

张佳玮写字的地方
2026-11-21 14:54:14
9战7胜逆袭!太阳拒爵士16分逆转 布克23分榜眼20+10+8

9战7胜逆袭!太阳拒爵士16分逆转 布克23分榜眼20+10+8

醉卧浮生
2026-11-21 13:06:12
赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

人生录
2026-11-20 00:15:04
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
人民日报:唱空中国经济者终会落空

人民日报:唱空中国经济者终会落空

21世纪经济报道
2026-11-21 12:16:38
GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

游民星空
2026-11-20 18:43:22
突发!46岁谢霆锋宣布喜讯!

突发!46岁谢霆锋宣布喜讯!

财经要参
2026-11-21 12:00:05
黄仁勋刚离开英伟达,硅谷就抢着招他,连过失都不计较。他手里1300多亿美元,自己另起一摊更容易,慌的是押注英伟达的人。

黄仁勋刚离开英伟达,硅谷就抢着招他,连过失都不计较。他手里1300多亿美元,自己另起一摊更容易,慌的是押注英伟达的人。

背包旅行
2026-11-21 10:00:13
登峰造极!哈登51+6+6,赛后祖巴茨走过去,一把抱住哈登

登峰造极!哈登51+6+6,赛后祖巴茨走过去,一把抱住哈登

担酒
2026-11-21 11:01:00
2026-11-21 16:23:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
亲子
家居
手机
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版