网易首页 > 网易号 > 正文 申请入驻

边打字边出片,交互式生成长视频!英伟达联合MIT开源新SOTA

0
分享至

新智元报道

编辑:LRST

【新智元导读】AI拍长视频不再是难事!LongLive通过实时交互生成流畅画面,解决了传统方法的卡顿、不连贯等痛点,让普通人都能轻松拍大片。无论是15秒短片还是240秒长片,画面连贯、节奏流畅,让创作变得像打字一样简单。

你还在为拍视频头疼吗?

想象一下你正在写一个故事,主角从城市街头一路打到未来太空,剧情越来越精彩,突然你灵光一闪——

「如果他这时候变身成反派,故事会不会更炸?」

以前,你得重新写剧本、找素材、剪辑、渲染……

现在,你只需要打一句话,AI实时生成新剧情,而且画面连贯、节奏流畅,边想边出片,像电影一样!

近日,NVIDIA联合MIT等机构重磅推出LongLive,把交互式视频生成性能干到SOTA,最长实现4分钟,可以实时交互式长视频生成。

项目地址:https://nvlabs.github.io/LongLive/

论文链接:https://arxiv.org/abs/2509.22622

项目主页:https://nvlabs.github.io/LongLive/

视频1:交互式视频生成结果展示

LongLive的惊艳不止于实时交互,别家模型「跑长跑就掉鞋」,我们把终点线直接拉到4分钟——240秒一镜到底,人物不崩、剧情不跳、镜头不晃。

视频2:和其他模型在长视频生成上的视觉对比。LongLive生成速度快的同时,还保持了视觉一致性和语义上的连贯

对比Sora2,由于Sora2每次只能生成10秒视频,Sora2借助GPT-5对输入进行了优化,尽可能地增加背景和上下文信息,来提示Sora2生成的连贯性。

视频3:Sora2与LongLive在长视频生成上的对比。Sora2在视频质感、运镜以及物理规律模拟等方面非常强大,但难免会出现突变和不一致。LongLive连续性好且生成速度快

VBench-Long权威测评显示,LongLive在长视频赛道拿下84.87总分,领先同量级选手近4分;背景一致性94.8、主角一致性94.0,全程零闪变,比SkyReels-V2快了41倍。

表1:LongLive和其他模型在长视频生成上的User Study对比

回到日常短视频(15-30秒)场景,一样「稳又快」:20.7帧/秒生成速度,比播放速度还快;VBench短片段评分86.97,视觉效果依旧SOTA。

表2:LongLive在VBench 短视频评测榜单上的性能比较

一句话,无论15秒爆款还是240分钟大片,LongLive都给你影院级稳感和丝滑产出

现在,很多扩散模型的做法由于双向注意力机制导致长时域生成过慢。而另一些则是「把一段视频一段视频分别生成然后拼起来」,所以越长越崩,人物形象完全错误,还有一些方法由于训练阶段使用短视频,推理阶段则推长视频导致训推不一致。

总结为:

  • 不用KV-cache,时间太慢并且形象错乱。

  • 使用KV-cache,实时交互困难。

  • 训不动长视频,推理则错误累计。


而LongLive完美解决这些痛点,一个真正面向长视频生成交互式的训练和推理算法。滚动式窗口支持长视频训练,单张GPU实现240s实时交互生成。

视频4:240s长视频生成效果

LongLive三板斧

LongLive的核心秘诀是「三把钥匙」,专门解决「长、顺、快」不可能三角:

长跑钥匙——Streaming Long Tuning

专为「长度」而生:训练时就让模型自己跑完240秒,边生成边学习,像陪练一样陪它冲过终点,从此不再「train-short-test-long」,越长越稳。

图2:流式长视频微调流程图。

剧情钥匙——KV-Recache

换剧情时,旧画面不丢,新指令立刻生效。就像导演现场改剧本,演员自然接戏,不会「出戏」或「重来」。

图3:不同策略对比来看,LongLive提出的KV re-cahce完美解决所有痛点

时间锚点和聚光灯注意力——Frame Sink和Short-Window

把开头几帧永久「钉」在记忆里,后面无论怎么拍,人物长相、场景风格都不会跑。相当于给整部片上了「定妆锁」。

图4:LongLive提出的sink策略保持风格一致

只看最近关键几帧,算力减半,画面反而更稳。就像摄影师只追焦主角,背景再乱也不影响镜头清晰度。

图5:LongLive提出的Shift Window策略极致的加速生成和降低算力消耗

三招齐下,才能让你「边聊边拍」240 秒依旧不崩、不跳、不重来,这才是 LongLive敢把「交互式长视频」做成「打字速度」的大秘诀。

LongLive把「写一句话」变成「拍一部大片」,长视频一镜到底、随时改戏、立等可取——从此,长视频不再是专业团队的专利,而是每个人随手可得的创意游乐场。

真正的交互式视觉时代已悄然开启,AI的每个灵感都值得被实时看见,被长久记住。

参考资料:

https://arxiv.org/abs/2509.22622

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
炸锅!曼联头号巨星或将离队!波切蒂诺面临致命难题

炸锅!曼联头号巨星或将离队!波切蒂诺面临致命难题

澜归序
2026-11-22 09:46:15
人伦之乱(笑话)

人伦之乱(笑话)

乡村中原风
2026-11-20 14:36:33
冲上热搜!全军暂停采购八马茶业

冲上热搜!全军暂停采购八马茶业

深蓝财经
2026-11-21 16:09:33
张水华黄马夺冠刷新生涯最佳获5000元奖金,辞职后4破PB势不可挡

张水华黄马夺冠刷新生涯最佳获5000元奖金,辞职后4破PB势不可挡

杨华评论
2026-11-22 09:53:48
世青赛团体4强诞生:国乒大获全胜!轰6个3-0比分,小将不失一局

世青赛团体4强诞生:国乒大获全胜!轰6个3-0比分,小将不失一局

吴锎旅行ing
2026-11-22 10:41:17
首日37.9亿美元,这家店只卖出5份《GTA6》

首日37.9亿美元,这家店只卖出5份《GTA6》

报错免疫体
2026-11-21 15:17:54
故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

卡西莫多的故事
2025-02-21 17:17:06
重磅预警!高盛“恐慌指数”逼近最大值:美股下周恐还有一波大规模抛售

重磅预警!高盛“恐慌指数”逼近最大值:美股下周恐还有一波大规模抛售

财联社
2026-11-21 13:56:13
“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

蝴蝶花雨话教育
2026-11-14 00:05:16
刚9分惜败掘金!火箭赛后传来主帅乌度卡消息,阿门说的非常实在

刚9分惜败掘金!火箭赛后传来主帅乌度卡消息,阿门说的非常实在

阅尽天下大事
2026-11-21 18:04:36
邝港智称谭方骏喜欢自己,为传宗接代三人共同生活,蔡天凤再婚是为了钱

邝港智称谭方骏喜欢自己,为传宗接代三人共同生活,蔡天凤再婚是为了钱

开开森森
2026-11-19 17:30:57
汪小菲带家人巴厘岛度假,小玥儿头发浓密已是大姑娘!汪宝好呆萌

汪小菲带家人巴厘岛度假,小玥儿头发浓密已是大姑娘!汪宝好呆萌

娱乐团长
2026-11-22 11:46:33
武磊在帮助上港队拿到足协杯决赛资格之后,在社媒更新发声做出重要决定

武磊在帮助上港队拿到足协杯决赛资格之后,在社媒更新发声做出重要决定

张丽说足球
2026-11-22 11:23:04
我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

千秋历史
2026-07-18 18:50:50
44岁于晓光做梦也想不到,韩国总统访华,带火了他47岁的媳妇!

44岁于晓光做梦也想不到,韩国总统访华,带火了他47岁的媳妇!

落雪听梅a
2026-11-21 12:14:20
2015年四川一名农民用冰糖搭配明矾冒充冰毒,每月售卖160斤积攒百万资产,落网之后警方无法以贩毒罪名对他定罪

2015年四川一名农民用冰糖搭配明矾冒充冰毒,每月售卖160斤积攒百万资产,落网之后警方无法以贩毒罪名对他定罪

唠叨说历史
2026-11-05 18:34:41
28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

王老师你还好吗
2026-11-11 21:45:48
IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

游民星空
2026-11-20 12:11:29
史无前例!NBL四队通杀CBA!豪门接连翻车,恢复升降级终结CBA混子时代

史无前例!NBL四队通杀CBA!豪门接连翻车,恢复升降级终结CBA混子时代

篮球圈里的那些事
2026-11-22 15:03:56
影后隆胸不藏着!劳伦斯当众拉开披肩自曝C罩杯,这坦荡真绝了!

影后隆胸不藏着!劳伦斯当众拉开披肩自曝C罩杯,这坦荡真绝了!

动物奇奇怪怪
2026-11-21 08:25:15
2026-11-22 16:31:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16742文章数 67254关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
手机
健康
数码
军事航空

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

手机要闻

DOOGEE Wide Core亮相,6500mAh电池、紫光展锐T7250处理器

医生眼里"很伤腰"的椅子,很多人天天坐

数码要闻

华为WATCH GT6获鸿蒙7.0.0.108SP8升级,表端支持微信来电接听和挂断

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版