网易首页 > 网易号 > 正文 申请入驻

一次AI视频流水线的调参记录:从一张“嘘”特写开始

0
分享至

一个看起来足够像的第一帧,并没有换来一段足够像的Rumpelstiltskin AI视频。早期测试里,画面保住了脸,视频模型一上来就把它重画了。另一次测试里,脸撑到了镜头下移,然后人物的头直接出了画。

这是团队用Claude Code辅助调参的一段记录。实验记录于2026年10月10日至11日。样本很小,不是通用模型评测。产品交付和实验工具是两回事。


从一张“嘘”的特写开始

起点是一张特写“shh”帧,然后对比不同的图像编辑路线。Seedream 4.0 Edit在这一轮给出了可用的起点,但改提示词立刻暴露出一个取舍。

服装、年代片、角色描述加得越多,氛围越好,人却越不像。有一次修改把测试脸推向另一种性别呈现。下一次修改简化了描述,明确保留发型和成年面部特征,只留下真正重要的视觉细节。

胶片颗粒被挪到本地后期处理。它没必要在图像提示词里和身份指令抢位置。

测试用的是生成的成年测试肖像,以及一些退化变体,而不是一张理想自拍。ArcFace分数用来比较本地迭代,但那只是测试集上的诊断测量,不是“观众能认出某人”的概率。

四种失败,各有各的死法

早期视频实验尽量用同一张起始图。失败很具体:

  • 脸被重画,第一帧的相似度没被继承;
  • 镜头移动后,人物头部离开画面;
  • 身份在运动过程中漂移;
  • 多镜头之间的角色归属发生错位。

这些观察解释了为什么要改变任务的表示方式。往原提示词里再加一个形容词,解决不了这四种失败。

更有希望的做法,是把原料拆成五个可复用资产。对每张输入照片,图像编辑步骤用照片、服装和鞋子生成一张全身定妆照。这张定妆照保持竖版,哪怕最终输出是横版:它是人物和服装的参考,不是视频的第一帧。

七个参考图,顺序就是合同

视频调用按固定顺序接收七个参考。下面这个简化映射只展示角色分工,不是可直接运行的API请求:

  • @Image1:人物照片,负责身份;
  • @Image2:定妆照,人物穿着这套服装;
  • @Image3:服装参考;
  • @Image4:第二个角色,虚构的成年人物;
  • @Image5:鞋子参考;
  • @Image6:谷仓参考;
  • @Image7:黄金参考。

这个顺序是模板契约的一部分。提示词会明确引用这些位置,交换两张图,就可能改变哪张脸、哪套服装属于哪个角色。

记录中的单人路线使用服务商的Seedance 2.0 Mini参考图模式,请求13秒、720p、不生成音频。它没有在参考列表之外再传一张首帧图。在集成测试里,把两种输入模式混在一起会产生参数错误。

团队查看参考视频,写下时间点笔记。原始素材没有作为生成输入,也没有被剪进生成结果。

提示词描述了15个带时间的镜头:走近、“shh”特写、反应镜头、夸张咧嘴笑、舞蹈动作、鞋子特写,以及结尾。共享块描述身份、服装、场景和视觉风格。提示词构建器在每个镜头里重复相关块,而不是假设模型会把每个细节自动带下去。

结果依然是近似的。被接受的横版实验从15个镜头的计划里检测出大约12个镜头。几个很短的节拍被合并了。明确的时间点给出的是更有用的序列,不是逐帧精确的剪辑控制。

一次通过,不等于可靠

这个版本被接受后,交付把两个提示词和五张共享图当作一个带版本的模板。改动这七个文件中的任何一个,都意味着新版本,以及再一次横版/竖版检查。

竖版实验换了另一张测试脸,带眼镜和胡子,视频提示词和参考方案保持不变。两者都保留在复核结果里。这是第二个有用的验证案例,不是“对所有脸都可靠”的证据。

工作流大致是这样:输入照片加服装加鞋子,生成全身定妆照;照片、定妆照再加五个共享资产,进入一次多镜头视频生成;然后由FFmpeg做裁剪、构图、胶片质感和静音MP4输出,最后是技术检查和复核。

FFmpeg负责裁剪、缩放/裁切、像素格式和胶片处理。联系表让检查序列更容易,不必为了每次对比重放整段视频。调参输出是静音的;音乐包装是另一个产品问题。

实验运行器还会在付费调用前检查支出限额,记录提示词版本和请求参数,并把报告的额度与余额变化对账。当一条命令在任务已经提交后被中断时,这一点很重要:停掉本地进程,不等于没有产生费用。

在被接受的单人路线里,记录的生成组件成本是定妆照10 credits,视频106.6 credits。共享资产创建和更早的实验是另外的成本。这些数字描述的是那些运行,不是当前报价,也不是完整交付成本。

最初的评分方法把太多视频当成“上传的人应该处处可见”。第二个角色的反应镜头于是看起来像身份失败。宽镜头、夸张表情和错过的切点也扭曲了结果。

团队尝试了镜头感知评分,包括……

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湖北宜化集团有限责任公司原副总经理刘波接受纪律审查和监察调查

湖北宜化集团有限责任公司原副总经理刘波接受纪律审查和监察调查

界面新闻
2026-10-12 11:38:37
俄罗斯专家把话挑明了:如果中国铁了心要对日本动手,那就只有两个选择,要么不出手,要么一击毙命!

俄罗斯专家把话挑明了:如果中国铁了心要对日本动手,那就只有两个选择,要么不出手,要么一击毙命!

回京历史梦
2026-10-11 16:35:06
9大赞助商祝贺郑钦文夺冠:耐克文案+海报感人 霸王茶姬宣布买1送1

9大赞助商祝贺郑钦文夺冠:耐克文案+海报感人 霸王茶姬宣布买1送1

我爱英超
2026-10-12 08:38:02
缅北逃生者含泪警告:逃出园区千万别打车!当地报警等于自投罗网,整个城镇都是“赏金猎人”

缅北逃生者含泪警告:逃出园区千万别打车!当地报警等于自投罗网,整个城镇都是“赏金猎人”

秋风妃
2026-10-11 20:00:24
都已经遥遥领先了,凭什么还要消费者给时间?

都已经遥遥领先了,凭什么还要消费者给时间?

迷世书童
2026-10-12 00:05:17
郑钦文俏皮摘掉父亲帽子:我爸是一个很社牛的人,他还是有点东西的

郑钦文俏皮摘掉父亲帽子:我爸是一个很社牛的人,他还是有点东西的

念洲
2026-10-12 06:57:48
“找搭子”暗藏灰色交易:酒托、旅游托设局消费,24瓶啤酒收938元;有偿陪伴用“纯绿、半绿”暗语引流,有客服称有500多名“小姐姐”可选

“找搭子”暗藏灰色交易:酒托、旅游托设局消费,24瓶啤酒收938元;有偿陪伴用“纯绿、半绿”暗语引流,有客服称有500多名“小姐姐”可选

大风新闻
2026-10-12 09:35:03
4-0夺冠后,王曼昱回应,日本媒体点评,中国国家队官方发声

4-0夺冠后,王曼昱回应,日本媒体点评,中国国家队官方发声

李絙在北漂
2026-10-11 19:31:26
文旅部:坚决拥护党中央决定

文旅部:坚决拥护党中央决定

新京报
2026-10-11 09:09:30
郑钦文退出武汉网球公开赛

郑钦文退出武汉网球公开赛

界面新闻
2026-10-12 11:27:13
当6.5%的人拿走四成:一张养老金账单背后的制度追问

当6.5%的人拿走四成:一张养老金账单背后的制度追问

金融科技一线
2026-10-10 08:53:24
决赛前紧张到呕吐,郑钦文:最后那口气我顶住了

决赛前紧张到呕吐,郑钦文:最后那口气我顶住了

澎湃新闻
2026-10-11 23:14:16
郑钦文摘掉父亲帽子露光头,全场笑了,这背后是2000万卖房托举

郑钦文摘掉父亲帽子露光头,全场笑了,这背后是2000万卖房托举

可乐谈情感
2026-10-12 10:39:30
尴尬了!全程0交流!九年队友,就这样?

尴尬了!全程0交流!九年队友,就这样?

篮球实录
2026-10-12 00:37:47
尊界刹车踏板事件发生3天后,大批车主退车被拒

尊界刹车踏板事件发生3天后,大批车主退车被拒

鸣金网
2026-10-12 08:58:01
社保基数比工资高,打工人集体破防

社保基数比工资高,打工人集体破防

城事堂
2026-10-11 18:58:58
骑士轻取魔术获季前赛首胜:哈登复出26分钟24分 班凯罗10中1

骑士轻取魔术获季前赛首胜:哈登复出26分钟24分 班凯罗10中1

醉卧浮生
2026-10-12 09:02:43
尊界刹车踏板三连断:聊天记录曝出,供应商给的是3000N,设计做了让步

尊界刹车踏板三连断:聊天记录曝出,供应商给的是3000N,设计做了让步

互联网大观
2026-10-09 19:29:12
养老金的真相:体制内吃掉了整个社保的近40%

养老金的真相:体制内吃掉了整个社保的近40%

城事堂
2026-10-09 15:33:52
不用排队了?网红超长蛋挞“清库存”,门店称卖完下架

不用排队了?网红超长蛋挞“清库存”,门店称卖完下架

新京报
2026-10-11 10:03:34
2026-10-12 11:56:49
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
185文章数 106关注度
往期回顾 全部

科技要闻

尊界:10月底确认制动踏板支架升级方案

头条要闻

马斯克想邀"中国版马斯克"跳舞:14亿人肯定有像我的

头条要闻

马斯克想邀"中国版马斯克"跳舞:14亿人肯定有像我的

体育要闻

英超-曼城3-0十人利物浦 豪取6连胜领跑

娱乐要闻

梅启明自资办梅艳芳追思会,34人到场

财经要闻

尊界,是江淮的救命车还是失血引擎?

汽车要闻

大6座插混SUV新选择 阿维塔T09概念版亮相巴黎车展

态度原创

健康
本地
旅游
房产
公开课

痘坑留下后,还能填平吗?

本地新闻

踏访沙县第一村,寻国民小吃本源

旅游要闻

健身博主在悬空寺木梁上做引体向上?景区:已上报,必要时将报警

房产要闻

加价255万;疯抢212轮!海口豪宅,又有新剧本!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版