一个看起来足够像的第一帧,并没有换来一段足够像的Rumpelstiltskin AI视频。早期测试里,画面保住了脸,视频模型一上来就把它重画了。另一次测试里,脸撑到了镜头下移,然后人物的头直接出了画。
这是团队用Claude Code辅助调参的一段记录。实验记录于2026年10月10日至11日。样本很小,不是通用模型评测。产品交付和实验工具是两回事。
![]()
从一张“嘘”的特写开始
起点是一张特写“shh”帧,然后对比不同的图像编辑路线。Seedream 4.0 Edit在这一轮给出了可用的起点,但改提示词立刻暴露出一个取舍。
服装、年代片、角色描述加得越多,氛围越好,人却越不像。有一次修改把测试脸推向另一种性别呈现。下一次修改简化了描述,明确保留发型和成年面部特征,只留下真正重要的视觉细节。
胶片颗粒被挪到本地后期处理。它没必要在图像提示词里和身份指令抢位置。
测试用的是生成的成年测试肖像,以及一些退化变体,而不是一张理想自拍。ArcFace分数用来比较本地迭代,但那只是测试集上的诊断测量,不是“观众能认出某人”的概率。
四种失败,各有各的死法
早期视频实验尽量用同一张起始图。失败很具体:
- 脸被重画,第一帧的相似度没被继承;
- 镜头移动后,人物头部离开画面;
- 身份在运动过程中漂移;
- 多镜头之间的角色归属发生错位。
这些观察解释了为什么要改变任务的表示方式。往原提示词里再加一个形容词,解决不了这四种失败。
更有希望的做法,是把原料拆成五个可复用资产。对每张输入照片,图像编辑步骤用照片、服装和鞋子生成一张全身定妆照。这张定妆照保持竖版,哪怕最终输出是横版:它是人物和服装的参考,不是视频的第一帧。
七个参考图,顺序就是合同
视频调用按固定顺序接收七个参考。下面这个简化映射只展示角色分工,不是可直接运行的API请求:
- @Image1:人物照片,负责身份;
- @Image2:定妆照,人物穿着这套服装;
- @Image3:服装参考;
- @Image4:第二个角色,虚构的成年人物;
- @Image5:鞋子参考;
- @Image6:谷仓参考;
- @Image7:黄金参考。
这个顺序是模板契约的一部分。提示词会明确引用这些位置,交换两张图,就可能改变哪张脸、哪套服装属于哪个角色。
记录中的单人路线使用服务商的Seedance 2.0 Mini参考图模式,请求13秒、720p、不生成音频。它没有在参考列表之外再传一张首帧图。在集成测试里,把两种输入模式混在一起会产生参数错误。
团队查看参考视频,写下时间点笔记。原始素材没有作为生成输入,也没有被剪进生成结果。
提示词描述了15个带时间的镜头:走近、“shh”特写、反应镜头、夸张咧嘴笑、舞蹈动作、鞋子特写,以及结尾。共享块描述身份、服装、场景和视觉风格。提示词构建器在每个镜头里重复相关块,而不是假设模型会把每个细节自动带下去。
结果依然是近似的。被接受的横版实验从15个镜头的计划里检测出大约12个镜头。几个很短的节拍被合并了。明确的时间点给出的是更有用的序列,不是逐帧精确的剪辑控制。
一次通过,不等于可靠
这个版本被接受后,交付把两个提示词和五张共享图当作一个带版本的模板。改动这七个文件中的任何一个,都意味着新版本,以及再一次横版/竖版检查。
竖版实验换了另一张测试脸,带眼镜和胡子,视频提示词和参考方案保持不变。两者都保留在复核结果里。这是第二个有用的验证案例,不是“对所有脸都可靠”的证据。
工作流大致是这样:输入照片加服装加鞋子,生成全身定妆照;照片、定妆照再加五个共享资产,进入一次多镜头视频生成;然后由FFmpeg做裁剪、构图、胶片质感和静音MP4输出,最后是技术检查和复核。
FFmpeg负责裁剪、缩放/裁切、像素格式和胶片处理。联系表让检查序列更容易,不必为了每次对比重放整段视频。调参输出是静音的;音乐包装是另一个产品问题。
实验运行器还会在付费调用前检查支出限额,记录提示词版本和请求参数,并把报告的额度与余额变化对账。当一条命令在任务已经提交后被中断时,这一点很重要:停掉本地进程,不等于没有产生费用。
在被接受的单人路线里,记录的生成组件成本是定妆照10 credits,视频106.6 credits。共享资产创建和更早的实验是另外的成本。这些数字描述的是那些运行,不是当前报价,也不是完整交付成本。
最初的评分方法把太多视频当成“上传的人应该处处可见”。第二个角色的反应镜头于是看起来像身份失败。宽镜头、夸张表情和错过的切点也扭曲了结果。
团队尝试了镜头感知评分,包括……
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.