突破AI视频生成“不可控”瓶颈 上海交大发布“世界叙事模型”

本文转自：人民网-上海频道

人民网上海7月13日电 上海交大团队近日正式发布面向视频媒体制作的“世界叙事模型”（World Narrative Model, WNM。与目前机器人领域用于物理理解和行动规划的“世界模型”不同，“世界叙事模型”目标不是让机器理解物理世界，而是让创作者与AI协同构建可编辑、可交互的叙事时空，实现对视频生成全要素的精确控制，为长期困扰AI影视制作行业的“不可控”难题提供系统性解决方案。

该项研究由上海交大张文军院士团队的倪冰冰教授所提出并领导。该团队自2016年起便率先开展智能内容生成研究，在高可控图像/视频生成领域拥有近十年的技术积累与原创性成果。随着世界叙事模型的开源与推广，AI视频创制有望迎来从“能生成”到“能控制”的范式革命，为全球影视工业释放全新的创作生产力。

AI视频生成火热，但“不可控”成产业“阿喀琉斯之踵”

当前，AIGC特别是AI视频生成与微短剧制作热度不减，但行业始终面临一个根本性瓶颈——不可控。专业创作者使用主流视频生成模型时，往往陷入“抽卡式”低效循环：为获得一个符合基本要求的镜头，平均需生成20至50次；在追求高精度控制的精品制作中，单镜头抽卡次数更高达7次以上，有效生成成功率不足50%。究其根源，当前主流视频生成模型本质上是像素空间的“黑盒概率采样器”—输入文本指令稀疏、输出像素高维稠密，中间缺乏对物理世界的显式建模，导致生成结果无法精确控制、无法局部修改、无法保证长时序一致性，更无法满足导演对镜头语言、角色动作、光影氛围的专业级操控需求。

AI 视频产业的虚假繁荣与真实困境

“世界叙事模型”破局：从“概率抽卡”到“确定性创作”

针对上述痛点，研发团队创造性地提出“世界叙事模型”，打破传统端到端视频生成的固有范式，建立“控制器+绘图器”两阶段视频生成新架构。

“控制器”+“渲染器”的视频内容生成新范式

在这一全新范式中，“控制器”即世界叙事模型，承担“理解物理世界、规划叙事结构”的职能——将导演的创作意图（剧本、分镜、参考图）自动转化为包含场景几何、人物骨骼、道具摆放、动作动线、运镜轨迹、灯光参数等全维度要素的结构化物理参数序列，构建出一个完整、可编辑、可交互的3D+T（三维空间+时间）数字仿真世界。这一过程相当于为导演提供了一套完整的数字编导预演系统：从布景、人物、道具，到动作、走线、运镜、灯光、氛围，全部通过世界叙事模型自动生成。

“绘图器”则由现有的视频生成大模型（如Kling、Seedance、Wan等）担任——世界叙事模型将结构化物理参数通过标准化适配接口注入基模，使其降维为受控的“神经着色器”，在确定性的物理骨架基础上完成像素级渲染。

更重要的是，世界叙事模型为专业创作者提供了全维度物理参数的人机操控接口——导演可直接调整场景几何、人物动作细节、动线路径、运镜轨迹参数、灯光位置与色温等，所有修改实时生效、确定可控。创作者告别“抽卡”式反复试错，在虚拟世界中如同过去实地拍摄一样流程化工作，精准把控每一个创作细节，聚焦内容本身而非与概率模型博弈。

世界叙事模型技术架构

全新生成范式，无缝协同现有全部视频基模

据团队介绍，“世界叙事模型”架构有望成为影视创作的新一代技术范式。该模型可与市面上所有主流视频生成基模（包括开源与闭源模型）无缝协同工作——不替代任何基模，而是为基模装上“专业方向盘”，使其从“概率采样器”升级为“受控绘图器”。通过将“理解物理世界”与“渲染视觉像素”两大任务解耦，世界叙事模型从根源上解决了长时序一致性差、物理逻辑崩塌、专业操控缺失等行业共性难题。用户实验数据表明，采用该模型后，单镜头编辑轮次可从20-50次降至3次以内，制作周期从数天压缩至24小时以内，专业创作者满意度超过80%。

世界叙事模型与基线方法的用户测试对比

目前，“世界叙事模型”已实现工程化落地，并已完成大规模测试验证，覆盖室内外场景、单人及多人交互动作、推拉摇移跟升降等多种运镜类型。测试结果表明，模型在场景一致性、动作与动线控制、运镜精度等维度均显著优于现有主流控制方案。团队已公开发布技术成果，影视创作者可在线申请测试使用（申请网址：https://glassroom.sjtu.edu.cn/WNM/）。

基于世界叙事模型控制的视频生成典型案例（左：世界叙事模型表征，右：生成视频；可关注布景、动作、动线、运镜质量）

在2026年5月召开的中国图像图形大会（CCIG 2026）上，张文军院士应邀作题为《世界叙事模型与高可控视频生成》的主旨报告。张文军院士指出：“视频生成的下一个分水岭是‘可控性’，可控性的基石是物理孪生式的世界叙事模型。”世界叙事模型的提出，不仅为AI视频从“概率抽卡”迈向“确定性创作”提供了可行的技术路径，更为影视制作、数字孪生、沉浸式交互、智能通信等应用场景提供了可扩展的关键技术支撑。