产品讲解视频里全是漂亮的界面截图,一个人都没有。为了补上这个缺口,有人用同一段30秒的故事,在自己的笔记本上做了五个版本,全部用免费工具,并且把每一步都计了时。
![]()
五个版本之间只改一件事:画面里的人是怎么来的。故事本身固定不变——Aarav收到一条线下面试的二维码通知,在接待处被扫码,在休息区等到手机震动,完成面试,记录被交接给公司的人力系统。五个镜头,30.4秒,同一个旁白声音(本地运行的Kokoro TTS),每一版都叠同样的应用界面。
机器是一台搭载 M1 Max 的 MacBook Pro(10核CPU、32核GPU、64GB统一内存)。没有英伟达显卡,所以这里的“GPU”指的是通过PyTorch的mps后端和Blender的Metal渲染器调用的苹果GPU。测试时IDE和虚拟机照常开着,就像普通工作日一样——这一点后来被证明很关键。
方法一:免费图库,真实但讲不了你的故事
本以为图库会在真实感上胜出,某种意义上确实如此:那些是真实照片。但Wikimedia Commons上几乎找不到可用的免费办公室、接待处或面试视频,现存的不是低于720p就是新闻素材。结果五个镜头全变成了照片加缓慢推镜。更糟的是每个镜头里都是不同的人,其中一处“办公室休息区”其实是公交车站。Pexels的免费视频质量更好,但需要API密钥。
方法二:SDXL生成图片,甜点区
为Aarav写了一段固定描述(年龄、发型、藏青西装、白衬衫),固定随机种子,用RealVisXL V4每个镜头生成两个备选。每张1344×768的图在M1 Max GPU上稳定耗时约2分钟。成品看起来像随手拍的办公室照片,多数镜头里Aarav能被认出是同一个人。
缺陷是复杂场景下的身份漂移:面试那场戏里,Aarav突然戴上了眼镜、长出了胡子。提示词也只是被松散地遵循,画面里并没有接待员真的在扫他的手机。
方法三:LTX-Video生成视频,先惊艳后融化
把SDXL的静帧喂给LTX-Video 0.9.5(2B)做图生视频。当场景只有一个人做小幅动作时,效果确实惊人:Aarav对着手机微笑,面试时他边说边比划,对面的人在听。
人群和大动作会把它打崩。繁忙的接待处大约三秒后就融成一团模糊的人影,走出大楼那段他的身体会扭曲。这两个片段是靠只保留干净的前三秒、再正放加倒放救回来的。原始片段都放在仓库里,可以自己判断。
方法四:Blender 3D,完全可控,零真实感
用免费的CC0绑定角色(Quaternius)和基础几何体搭的场景,每个镜头都严格按分镜执行:他把手机举到扫描器前,手机震动,他走出去。一致、有动画,但看起来像电子游戏。免费、免登录就能拿到写实3D人物的路子基本没了:Mixamo需要Adobe账号,MetaHuman和Character Creator都不免费。
方法五:SadTalker旁白,是好向导不是主角
用SDXL生成一张虚构的主持人脸,再用SadTalker对整段旁白做口型同步。30秒全程帧级对齐,但只有头部在动,512×512的分辨率只够当个小气泡用。一个教训:第一版主持人做成了女性,配上男声很违和,脸要和声音匹配。
时间到底花在哪了
意外之处在于:AI视频模型生成并不慢,一段5秒片段去噪只要约30秒。其余95%的时间花在解码帧上,因为macOS把最多32GB换到了磁盘——光T5文本编码器全精度就需要19GB,而IDE和虚拟机还开着。编码完提示词后卸载文本编码器有帮助,关掉其他应用帮助更大。
踩过的坑也一并列出:M1上没有bf16,LTX-Video文档里的bf16路径会因dtype不匹配崩溃,改用fp32内存开销约翻倍;MPS流水线上用CPU随机数生成器会让解码步骤崩溃,要用torch.Generator('mps');SadTalker在苹果GPU上,其锁定的PyTorch 2.1在MPS上没有Conv3D,升级到2.5.1并打三个补丁后快了13倍,补丁在仓库里;模型总共约28GB,按1MB/s要下一下午,得并行下载,T5的bf16副本(9.5GB)能把最大的文件减半;Homebrew的Blender cask要sudo,从blender.org下的DMG直接拷进~/Applications就不用。
实际会怎么用
- 大多数人物镜头用SDXL生成图片:真实、一致,每镜头约2分钟。
- AI视频只用在两三个关键瞬间,单人、小动作,多生成几个种子,只留干净的几秒。
- 产品界面保持设计好的截图。人物提供语境,产品才是主角。
- 想要一张脸,就在片头或片尾放个旁白气泡。
总成本0美元。所有模型和工具都免费,都跑在一台笔记本上。代价是时间和约28GB磁盘。输入、输出、脚本、原始日志、每一个测出来的数字全部公开,还有一个可并排播放五个视频的实时面板。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.