网易首页 > 网易号 > 正文 申请入驻

写2000字提示词,不如先生成3D白模!AI视频创作进入“预演时代”

0
分享至

衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

不是我说,随着模型能力越来越强,现在各大平台上优秀的AI视频早就超过普通人玩AI的范畴了。

更多是有编导思维的科班/专业人士利用AI下放的门槛,把自己的专业能力放大,在这些赛道一通乱杀。

为了验证这种差距,我也用最近大火的视频模型生成了一段镜头:

身着传统武士铠甲的武士,缓步穿行于古日本木质村落街道,居于画面中心,步履沉稳。街道两旁村民或立或跪垂首行礼,氛围肃穆,地面微湿。镜头缓缓推进,整体充满历史电影的真实质感。

得到如下画面(且prompt被AI帮我润色补全过):



模型能力本身是没问题的!

然而我科班出身、还在影视行业当牛马的学妹看了过后冷笑一声,说我第一不懂编导思维不懂镜头衔接,第二不懂AI视频生成。

听到无情嘲讽我即将小发雷霆,她给我看了同一个模型出来的成片,我一下就阿巴阿巴了。

这家伙脑中已经具备完整的分镜和调度逻辑,但,她说差异如此巨大,主要门外人都不知道影视行业一贯用到的白模(Blockout/Previs预演白模)。

也就是上面这个视频中上半屏的东东。

她喜不自胜给我嘚吧嘚:“本来白模是要学建模的,现在不用费劲巴拉学了!现在有了AI新工具,就传个场景参考图,AI很快就搞出来高还原度的3D白模场景了。”

对普通人来说,还是有上手难度,但对专业人士来说真的可以事!半!功!倍!



在她的指导下,我狠狠体验了一把updream新上线的功能,预演台(Previs Studio)。

它把影视行业成熟的Previs预演工作流搬进了创作画布:

创作者先搭建3D白模场景,定好机位,排完人物走位,录制预演视频,再交给Seedance、Kling、Wan、Gemini Veo等视频模型完成最终渲染。

先设计镜头,再做生成,以此解决用AI视频模型“拍什么”和“怎么拍”的控制问题。

妙啊!

别急着生成!先用AI给复杂镜头做白模预演

创作者怎么准确告诉模型“我要怎么拍”,依然缺少一种更贴近影视工业的方法,这显然是当下AI视频创作进入下一阶段后,需要面对的新问题。

AI视频的短板在3D空间与镜头调度的可控性——很多人把生成翻车归罪于提示词写得不够完善,但症结其实在于信息传递损耗。

文字能写下“镜头向前缓缓推进”“人物从画面左侧横穿”,却无法严格规定生成时的具体推进速度、人物与环境距离,以及运动收尾的构图。

创作者脑海中的画面先要转译为提示词,再交由AI二次解析,两次翻译会丢失大量关键信息。

生成前,我们无从判断模型接收了哪些指令,也无从得知到底会生成什么画面。

能咋办?只能一遍遍重试抽卡。



而白模参考是文娱影视业内验证过的破局思路。

白模承担的是纯粹的空间与时序信息。

粗糙的3D白模充当视频生成的空间锚点,模型能精准理解分镜中的深度、遮挡、比例和可运动空间,这些概念很难单纯通过提示词描述清楚。

早在Stable Diffusion时代,ControlNet就已经给出过解法。

当时为解决画面失控,人们会在生成图片前输入深度图、法线贴图或简易3D模型等空间信息,哪怕只是火柴人,也能稳定约束人物姿态与透视关系。



这一思路随后也被迁移到视频生成领域。

白模只输出空间约束,材质、光影交由模型自由发挥,但空间结构不允许漂移错乱。

即便没有色彩纹理,它也能指引模型组织画面,大幅降低人物走位、场景透视崩坏的概率。

可建模技能向来门槛颇高,传统3D工具学习成本极高,Blender(免费开源全能3D创作套件)、Maya(商用影视级3D动画软件)从零上手动辄数月甚至更久,对于追求效率的AI创作者,难以承受这样的时间成本。

updream预演台,干的就是把这套原本需要建模经验和专业软件支撑的门槛打下来。

它把过去需要Blender或Maya才能做的事,狠狠用AI降低了门槛。



官方把白模控制定义为高级能力,专门出台了对应的提示词规范,区分粗粒度、细粒度两套白模用法。

两种白模分工如下:

  • 粗粒度白模:管动作、动线、站位、运镜、切镜、光影节奏这些动态时序信息,不需要精致外观,只用几何体把“怎么动”讲清楚,人物外貌、场景材质交给别的参考图去定义。
  • 细粒度白模:本身结构完整,更多用来做材质替换、色彩调整、人物与场景风格重渲染。

超大字号提醒!

updream借助AI能力降低了建模门槛,但它不是个“傻瓜式”一键出片工具。

创作者要弄懂场景层级、机位、运动轨迹的关联,复杂叙事镜头依旧需要提前拆解分镜,最终才能产出专业级调度。

updream预演台,究竟改变了多少?

好,虽然我刚才拉响了小白预警,但实际操作下来,这套流程的手感是很顺的(毕竟有学妹从旁指导)。

为了验证预演台的效果,我分别测试了几类AI视频中较难控制的镜头。

从步骤上来说,只需要总共四步。

首先,打开updream,在创作画布内右键点击空白处,新建预演台。



第二步,点击“生成空间”或“创建场景”,然后上传1-3张场景参考图。

上传参考图的目的是生成场景白模,人物需要搭建完场景之后添加。

体验的时候,我找了一张户外婚礼场景的图丢给预演台。



我发起任务是当天18:49分,白模生成出来是18:53分,拢共也没用上5分钟。

我的场景确实比较简单啦,但官方教程里面也表示这一环节耗时大约为4-7分钟。

生成的白模拖动移动、放大缩小都可以,360度旋转或导航也没问题。

过去要达到下图这个效果,要么自己老老实实啃几个月Blender,要么去ComfyUI里搭一套复杂的节点工作流。



白模生成好后,可以新建人物、机位等。

这里,人物运动片段还能选择全局动作和局部动作。

有了你满意的场景、人物、机位,绘制人物走位和轨道过后,点击右上角录制,即可将白模视频导出至画布的下游节点。

导出前,我恨不得架它八个机位……



接下来就已经可以剪辑录下来的白模预演视频,把它作为参考素材,送到updream的其他功能的视频模型里去生成。



为了验证它到底能不能减少抽卡,学妹指导我实测了三个最容易乱成一锅粥的复杂场景。

第一个,一镜到底。

输入了个极简风prompt:

户外婚礼现场,一个穿着旗袍的女性走到座位区的倒数第三排落座。

一镜到底很考验连续运动过程中,空间、人和环境的关系对照关系和变化。

如果只用图片和参考图,不用白模,旗袍妹子走着走着户外草坪的背景就容易突然变异。



加入白模参考后,我们规定了旗袍妹子的前进路线:



可以看到,人物运动方向、摄影机移动路径以及最终停留位置都得到了很好的固定:



相比没有白模参考的生成结果,这次输出更接近我们脑子里预设的运镜节奏。

第二个,多机位切换。

核心考验AI能不能理解同一个空间里,不同镜头之间的连续关系。

AI很容易把每个镜头理解成新的生成任务。

于是可能出现:

  • 前一个镜头人物穿黑色衣服,后一个镜头变白色;
  • 前一个镜头人物在街道左侧,切镜后突然换到右侧;
  • 建筑结构变化;
  • 人物运动方向不连续;

白模提前规定场景空间结构、人物所在位置、人物移动路径、每个镜头的摄影机位置,更好地理解完整的空间关系。

这个任务下,我们用updream预演台制造出的最终美味成品……

就是大家开头看到的日本武士片段!

(惊不惊喜意不意外?doge)

重点观察不同机位之间的人物身份、空间方向和环境连续性的稳定性,我们发现,通过白模提前规划多个摄影机位置和切换关系,模型真的能够获得更明确的空间参考,减少不同镜头之间的割裂感。

第三个,复杂运镜。

这次的内容我们想展示地铁车厢内真人电影级画面,营造紧张恐怖氛围,细节包括地铁座椅、人物表情等。

很快,我就得到了以下视频:



这类镜头过去容易出现人物位置变化、空间关系错乱等问题。

通过白模提前锁定空间关系后,模型对于复杂运镜的执行稳定性有所提升。

桀桀桀!

体验下来,updream预演台并没有让生成过程完全摆脱调整,但它改变了调整方式。

创作者不再只能修改提示词猜测模型如何理解,而是可以提前验证空间是否合理。

学妹开心地表示,在测试过程中,白模参考减少了无效尝试次数,尤其是在复杂空间调度场景中,创作者可以提前确认镜头设计,而不是完全依赖生成后的结果调整。

照这么说,《牛来》导演和他母亲5年手搓出来的电影,用上updream预演台,岂不是几天就能复刻出来???

简直是天才来的!

AI视频新阶段,比拼视频内容控制能力

当然,预演台不是万能药,它也有自己的边界。

首先是白模场景的结构还原很吃你输入的参考图。如果原图本身透视不对,白模也会跟着歪。

其次,遇到特别复杂的运动,微调起来还是需要点耐心。

最重要的是,预演参考提升的是“控制感”。但成片阶段依然可能出现角色一致性垮掉、细节物理效果不对的小毛病,这些还得靠后续的局部重绘去修。

但即便如此,updream预演台的意义依然值得关注。

之前我和学妹的差距,并不在于谁更会写prompt,而在于她多了一套预演流程。过去普通创作者有这个流程思维,但没有低成本手段完成这一步,只能把整套分镜压缩进文字。

现在,预演台出手了。



放到整个行业来看,过去,预演(Previs)属于影视工业里的专业工具,导演、摄影指导和特效团队会通过预演确认镜头设计。

如今,随着AI视频降低了画面生成门槛,越来越多个人创作者和小团队也开始需要类似能力。

  • AI视频个人专业创作者:补上“镜头预演”这一环,减少成片阶段反复抽卡,降低积分和时间损耗,拿到更高的创作确定性,不用单纯靠prompt硬扛编导的工作。
  • 影视团队:降低前期动态分镜预演的成本,不用投入大量人力做3D预览小样。

对于普通创作者来说,它也提供了一种更接近导演视角的空间设计方式。

更深层的改变在于心态。

除了省下来时间和积分,还让创作者从“不断猜模型会怎么拍”,变成了“先决定自己要怎么拍”。

看看现在的行业环境,国产视频模型卷了半年,基础能力早就不是问题。

下一阶段的竞争焦点,正在从比拼视频模型能不能生成,转向创作者能否稳定控制结果。

“生成一段视频”的重点只是一个文件,它正在转向的“帮助创作者完成一次创作”,终点是一个更完整更可控的作品。

影视制作工具的底色,本来就是降低创作者和模型之间的沟通摩擦,对吧!



如果你已经摩拳擦掌想试试这套工作流,正好updream目前在配合预演台上线了“千万积分预演台挑战赛”。

你可以参考上面的测试方法,试着先搭个白模,复刻一个自己一直想做但没做出来的复杂镜头。

在为期一个月的挑战赛里,把作品投到“Showcase创作赛道”和“导演手册|预演台教程赛道”两大创作赛道,不仅能拿到流量扶持与曝光资源,优秀的作品还能拿到上万元的积分奖励。

感兴趣的小伙伴们,可以亲自去了解体验一下~

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
含大量硼砂,别再给家里人吃了!这10类食物最易掺硼砂,别害自己

含大量硼砂,别再给家里人吃了!这10类食物最易掺硼砂,别害自己

健康之光
2026-09-25 07:25:20
蔡卓妍拒绝再借钱给张致恒,旧账当给孩子红包,对方欠债约100万

蔡卓妍拒绝再借钱给张致恒,旧账当给孩子红包,对方欠债约100万

小椰的奶奶
2026-10-15 03:23:25
AI杀进横店!火山引擎拿下2.3亿大单

AI杀进横店!火山引擎拿下2.3亿大单

智东西
2026-10-15 09:29:13
女人的“三不拒绝”,就是等你去“进攻”

女人的“三不拒绝”,就是等你去“进攻”

王二哥老搞笑
2026-10-16 03:01:29
“吃人”的哀牢山,国产机器狗深入密林,完成了两件人做不到的事

“吃人”的哀牢山,国产机器狗深入密林,完成了两件人做不到的事

笑饮孤鸿非
2026-10-15 14:02:29
金价下跌!今日金价(10月15日),黄金价格多少钱一克

金价下跌!今日金价(10月15日),黄金价格多少钱一克

三农老历
2026-10-16 01:24:46
张雪评两轮车自动驾驶 “有点搞笑”:手离车把无法配合刹车,一旦制动人会摔倒,自动驾驶意义何在?

张雪评两轮车自动驾驶 “有点搞笑”:手离车把无法配合刹车,一旦制动人会摔倒,自动驾驶意义何在?

极目新闻
2026-10-15 22:07:39
她带弟弟进入娱乐圈,没想到如今自己无人问津,弟弟却红透半边天

她带弟弟进入娱乐圈,没想到如今自己无人问津,弟弟却红透半边天

娱说瑜悦
2026-10-15 13:47:04
新华社消息|商务部:中方将与欧方一道促进双方两用物项贸易发展

新华社消息|商务部:中方将与欧方一道促进双方两用物项贸易发展

新华社
2026-10-15 18:05:44
刹车踏板断了,某些人的逻辑也断了

刹车踏板断了,某些人的逻辑也断了

曹莽看世界
2026-10-15 09:12:07
有事依赖中国,无事出卖中国!中国有多少双面派邻国?

有事依赖中国,无事出卖中国!中国有多少双面派邻国?

阿黼体育评论
2026-10-12 13:27:04
回顾:荷兰大臣承认推演过中方所有反制手段,却没料到中方直接暂停东莞芯片出口,欧洲车企当场停摆,这步棋太狠了

回顾:荷兰大臣承认推演过中方所有反制手段,却没料到中方直接暂停东莞芯片出口,欧洲车企当场停摆,这步棋太狠了

林杰论事
2026-10-15 01:10:57
仅上映3集,热度直接破3000,蒋欣这次连哭都咬着牙

仅上映3集,热度直接破3000,蒋欣这次连哭都咬着牙

天玑影视说
2026-10-15 22:15:06
网传明星演唱会门票被炒至25万一张,天价黄牛票为何屡禁不止?

网传明星演唱会门票被炒至25万一张,天价黄牛票为何屡禁不止?

澎湃新闻
2026-10-15 07:04:08
单场爆砍135分!火箭队三分如雨下,乌度卡排出11人轮换,新人表现不俗

单场爆砍135分!火箭队三分如雨下,乌度卡排出11人轮换,新人表现不俗

熊哥爱篮球
2026-10-15 11:58:20
名媛分尸神展开?凶手前夫爆「和现任尪有性关系」 惊人三角恋内幕曝

名媛分尸神展开?凶手前夫爆「和现任尪有性关系」 惊人三角恋内幕曝

ETtoday星光云
2026-10-15 16:11:14
浙江男子花11万拿乌克兰硕士,没出国也没上课,线上拿证,结果根本用不了!当事人:买到一张写满英文的废纸

浙江男子花11万拿乌克兰硕士,没出国也没上课,线上拿证,结果根本用不了!当事人:买到一张写满英文的废纸

扬子晚报
2026-10-15 20:18:24
“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

易玄
2026-09-13 11:43:30
中国为什么有外汇管制,大部分国家为什么不管制?

中国为什么有外汇管制,大部分国家为什么不管制?

经济学教授V
2026-10-14 19:22:37
“最惨超女”黄雅莉:没工作没积蓄,34岁生子后住5平米的小屋

“最惨超女”黄雅莉:没工作没积蓄,34岁生子后住5平米的小屋

历史点行
2026-10-13 15:54:20
2026-10-16 04:23:00
量子位 incentive-icons
量子位
追踪人工智能动态
13494文章数 176582关注度
往期回顾 全部

科技要闻

核弹院士彭先觉:可控核聚变 不必再等50年

头条要闻

小男孩衣衫不整跟随母亲游荡 官方:其母多次拒绝救助

头条要闻

小男孩衣衫不整跟随母亲游荡 官方:其母多次拒绝救助

体育要闻

五大联赛第二射手,开着11年前的二手车

娱乐要闻

蒋劲夫晒体脂率引关注,家暴史再被扒

财经要闻

洋餐饮的中国生意:红利消退后的集体交权

汽车要闻

年轻人专属的大五座 小鹏MONA L05预售16.98万起

态度原创

游戏
时尚
本地
房产
健康

玩了那么多年游戏,到现在都不知道我到底是谁……

1万全款买房,年轻人开始「提前退休」

本地新闻

这个十一,林都伊春彻底出圈!

房产要闻

湾际藏品 双子登临 | 中旅・馥棠公馆395㎡&517㎡塔尖大平层全球献映

孩子运动莫名晕倒?当心这类疾病

无障碍浏览 进入关怀版