网易首页 > 网易号 > 正文 申请入驻

南大、TeleAI推出全新AI生成范式MMPL,让创意一镜到底

0
分享至

向迅之,南京大学 R&L 课题组在读博士生,导师是范琦副教授。研究聚焦图像/视频生成与世界模型等 AIGC 方向。

你是否曾被 AI 生成视频的惊艳开场所吸引,却在几秒后失望于⾊彩漂移、画面模糊、节奏断裂? 当前 AI 长视频⽣成普遍⾯临 “高开低走 ” 的困境:前几秒惊艳夺⽬ ,之后却质量骤降、细节崩坏;更别提帧间串行生成导致的低效问题 —— 动辄数小时的等待,实时预览几乎难以企及。

这—行业难题,如今迎来突破性解法!

南京大学联合 TeleAI 推出长视频自回归生成新范式——Macro-from-Micro Planning( MMPL),重新定义 AI 视频创作流程。

灵感源自电影工业的 “分镜脚本 + 多组并行拍摄” 机制,MMPL 首创 “宏观规划、微观执行 ” 的双层⽣成架构:

  • 先谋全局:在宏观层面统—规划整段视频的叙事脉络与视觉—致性,确保剧情连贯、风格统—;
  • 再精细节:将长视频拆解为多个短片段,并通过并行化⽣成管线⾼效填充每—帧细节,大幅提升速度与稳定性。

成果令人振奋:

  • 实现分钟级⾼质量长视频稳定生成,告别 “虎头蛇尾”;
  • ⽣成效率显著提升,结合蒸馏加速技术,预览帧率最高可达约 32 FPS ,接近实时交互体验;
  • 在色彩—致性、 内容连贯性上全⾯超越传统串行生成方案。

MMPL 不仅是—项技术升级,更是向 “AI 导演” 迈进的重要—步 —— 让机器不仅会 “拍镜头” ,更能 “讲好—个故事”。

  • 论文标题:Macro-from-Micro Planning for High-Quality and Parallelized Autoregressive Long Video Generation
  • 作者:Xunzhi Xiang, Yabo Chen, Guiyu Zhang, Zhongyu Wang, Zhe Gao, Quanming Xiang, Gonghu Shang, Junqi Liu, Haibin Huang, Yang Gao, Chi Zhang, Qi Fan, Xuelong Li
  • 机构 :南京大学;中国电信人工智能研究院;上海交通大学;香港中文大学(深圳);中国科学院大学
  • 论⽂地址:https://arxiv.org/abs/2508.03334
  • 项⽬主页:https://nju-xunzhixiang.github.io/Anchor-Forcing-Page/

传统困境:逐帧⽣成的两大瓶颈

在长视频生成领域,随着时长从几秒扩展到数十秒甚至一分钟以上,主流自回归模型面临两个根本性挑战:

1. 时域漂移(Temporal Drift)

由于每—帧都依赖前—帧生成,微小误差会随时间不断累积,导致画面逐渐 “跑偏”:人物变形、场景错乱、色彩失真等问题频发,严重影响视觉质量。

2. 串⾏瓶颈(Serial Bottleneck)

视频必须逐帧⽣成,⽆法并⾏处理。⽣成 60 秒视频可能需要数分钟乃⾄数⼩时,难以⽀持实时预览或交互式创作。

这些问题使得当前 AI 视频仍停留在 “ 片段级表达” ,难以胜任需要长时连贯性的叙事任务。

创新突破:导演式双层生成框架 MMPL

为解决上述问题,我们提出 Macro-from-Micro Planning( MMPL) —— — 种 “先规划、后填充” 的两阶段生成范式,其核心思想是:

先全局规划,再并行执行。

这—理念借鉴了电影工业中 “导演制定分镜脚本 + 多摄制组并行拍摄” 的协作模式,将长视频生成从 “接龙式绘画” 转变为 “系统性制片 ”。

MMPL 的核心优势在于实现了三大突破:

  • 长时⼀致性:通过宏观规划抑制跨片段漂移;
  • 高效并行性:各片段可独立填充细节,支持多 GPU 并行;
  • 灵活调度性:采用流水线机制,进—步提升资源利用率。

最终,系统可在保证高质量的前提下,实现分钟级、节奏可控的稳定⽣成,结合蒸馏加速方案,预览速度可达 ≥32 FPS ,接近实时交互体验。

效果呈现:更稳、更长 、更快

在统—测试集上,MMPL 显著优于现有方法(如 MAGI 、SkyReels 、CausVid 、Self Foricng 等),在视觉质量、时间—致性和稳定性方面均取得领先。

  • 更稳:无明显色彩漂移、 闪烁或结构崩坏,长时间生成仍保持高保真;
  • 更长: 支持 20 秒、30 秒乃至 1 分钟的连贯叙事,片段衔接自然;
  • 更快:得益于并行填充与自适应调度,长视频生成整体吞吐量大幅提升。

技术解析:两阶段协同工作机制

MMPL 的成功源于其精心设计的 “规划 — 填充” 双阶段架构。整个流程分为两个层次:微观规划( Micro Planning) 和宏观规划( Macro Planning),随后进行并行内容填充(Content Populating)。

第⼀阶段:双层规划,构建稳定骨架

1. Micro Planning: 片段内关键帧联合预测

这些锚点在同—去噪过程中联合生成,彼此之间语义协调、运动连贯;且均以首帧为条件单步预测,避免了多步累积误差。它们共同构成了该片段的 “视觉骨架” ,为后续填充提供强约束。

2. Macro Planning:跨片段叙事⼀致性建模

这种 “分段稀疏连接” 的设计,将误差累积从 T 帧级别降低至 S 段级别( S ≪ T),从根本上缓解了长程漂移问题。

第二阶段:并行填充,释放计算潜能

1. Content Populating:基于锚点的并行细节生成

这意味着: 多个片段可以同时在不同 GPU 上并行⽣成,极大提升效率。

2. Adaptive Workload Scheduling:动态调度,实现流水线加速

为进—步提升资源利用率,我们引入自适应工作负载调度机制,实现 “规划” 与 “填充” 的重叠执行:

当片段 s 的锚点生成后,即可:

  • 立即启动下—片段 s + 1 的 Micro 计划;
  • 同时,片段 s 自身可提前开始中间帧填充,无需等待全局规划完成。

该机制的形式化表达为:

  • 优势:消除冗余,最大化流水线效率;
  • 缺点:每段计算负载更高。

这两种策略可在内存、延迟与吞吐量之间灵活权衡,适配不同部署场景。

结语:从 “会画” 到 “会拍”,AI 开始有了导演思维

当 AI 不再局限于逐帧生成,而是具备了从整体出发的规划能力 —— 理解情节的推进、协调画面的连贯性、控制运动的节奏,长视频生成便迈出了从 “ 片段拼接” 走向 “统—表达” 的关键—步。我们希望,MMPL 能为视频创作提供—种更稳定、更高效的技术路径。借助其近实时的生成能力,创作者可以在快速反馈中不断调整与完善自己的构想,让创意更自由地流动。

也许真正的 “所见即所得” 尚在远方 ,但至少,我们正朝着那个方向,稳步前行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
趁特朗普还在回国路上,迫不及待的民主党,已经先下手为强了

趁特朗普还在回国路上,迫不及待的民主党,已经先下手为强了

云上乌托邦
2026-11-21 01:20:04
早报:APEC国宴一个团队负责一道菜;我的脸怎么去演短剧了;特朗普返美发重大预告;零添加、0蔗糖未必更健康;男子买仿虎皮坐垫被举报

早报:APEC国宴一个团队负责一道菜;我的脸怎么去演短剧了;特朗普返美发重大预告;零添加、0蔗糖未必更健康;男子买仿虎皮坐垫被举报

岸标财经
2026-11-21 00:24:08
六台:卜拉欣-迪亚斯与皇马续约至2031年,解约金10亿欧

六台:卜拉欣-迪亚斯与皇马续约至2031年,解约金10亿欧

懂球帝
2026-11-20 20:58:23
奥沙利文:任何伟大运动员都应该干脆利落,我不喜欢穆里尼奥和纳达尔

奥沙利文:任何伟大运动员都应该干脆利落,我不喜欢穆里尼奥和纳达尔

杨华评论
2026-11-19 20:20:21
英伟达股价跌幅扩大至4.5%,报139.430美元/股

英伟达股价跌幅扩大至4.5%,报139.430美元/股

每日经济新闻
2026-11-20 22:47:04
3-0、2-0、2-0!U17世界杯第首日:亚洲队集体爆发 中国队爆冷?

3-0、2-0、2-0!U17世界杯第首日:亚洲队集体爆发 中国队爆冷?

大秦壁虎白话体育
2026-11-20 08:16:29
美国多地警方担心GTA6引导犯罪:游戏里玩玩得了!

美国多地警方担心GTA6引导犯罪:游戏里玩玩得了!

游民星空
2026-11-20 11:07:52
46岁任重与45岁李光洁同框,差距一目了然,身材管理太重要!

46岁任重与45岁李光洁同框,差距一目了然,身材管理太重要!

东方不败然多多
2026-11-21 01:26:55
武汉商学院原党委书记刘志辉被“双开”

武汉商学院原党委书记刘志辉被“双开”

界面新闻
2026-11-20 14:35:34
高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

杨仔述
2026-11-18 12:57:26
深圳APEC峰会,美国到场了,俄罗斯到场了,东道主还是中国,可唯独以亚洲大国自居的印度未获正式成员资格!

深圳APEC峰会,美国到场了,俄罗斯到场了,东道主还是中国,可唯独以亚洲大国自居的印度未获正式成员资格!

扶苏聊历史
2026-11-20 14:47:33
哈里新访谈又撞威廉活动!网友嘲讽:哥哥一有大事他就来一出

哈里新访谈又撞威廉活动!网友嘲讽:哥哥一有大事他就来一出

许侶很机智
2026-11-19 19:03:11
“涨就一丢丢,跌就大几万”!A股超4800股下跌,205万基民半日浮亏4.2万,直言亏麻了欲哭无泪

“涨就一丢丢,跌就大几万”!A股超4800股下跌,205万基民半日浮亏4.2万,直言亏麻了欲哭无泪

王老师你还好吗
2026-11-20 18:26:09
邝港智庭审:不满蔡天凤嫁谭方骏,法官追问:这感情来自蔡还是谭

邝港智庭审:不满蔡天凤嫁谭方骏,法官追问:这感情来自蔡还是谭

阅微札记
2026-11-20 11:31:50
美国不敢跟中国动手?英国学者一语道破:中国不止核武器1个底牌

美国不敢跟中国动手?英国学者一语道破:中国不止核武器1个底牌

孤单是寂寞的毒
2026-11-17 22:09:15
公交站广告多个人物眼睛重影疑似AI生成,相关部门:正排查整改

公交站广告多个人物眼睛重影疑似AI生成,相关部门:正排查整改

澎湃新闻
2026-11-20 15:36:43
塞尔维亚完整计票结果公布,欧洲到头来空欢喜一场?连武契奇都倍感意外,之前的预判明显保守了

塞尔维亚完整计票结果公布,欧洲到头来空欢喜一场?连武契奇都倍感意外,之前的预判明显保守了

磊子讲史
2026-11-18 14:31:20
浙江,女子与男子初次约会,点了2万多火锅,男子称腹痛离开,女子被逼支付6800元后报警,结果让人大跌眼镜!

浙江,女子与男子初次约会,点了2万多火锅,男子称腹痛离开,女子被逼支付6800元后报警,结果让人大跌眼镜!

黎兜兜
2026-11-20 23:35:29
董路:U17国足用6后卫死守!把西班牙球员心态搞乱,有机会拿1分

董路:U17国足用6后卫死守!把西班牙球员心态搞乱,有机会拿1分

念洲
2026-11-20 10:24:46
提升性生活时长,这些食物要多吃

提升性生活时长,这些食物要多吃

精彩分享快乐
2026-10-25 21:00:08
2026-11-21 03:43:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14524文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
教育
数码
本地
家居

PC Gamer试玩GTA6百小时:双主角出色但任务重复

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版