网易首页 > 网易号 > 正文 申请入驻

AI生成的视频,为什么音画总是对不上?

0
分享至


你有没有刷到过这样的AI生成视频:画面里一个女人在跑步机上跑步,可是声音响起的那一刻,她的脚步明明已经落地了,声音却慢了半拍才出来。或者更离谱的,一首歌正唱到高潮,镜头里歌手的嘴巴却纹丝不动,像个蜡像。

这不是个别现象。

2025年前后,AI视频生成技术突飞猛进,Veo、Kling、LTX这些模型已经能一口气生成带音效、带配乐、甚至带对白的完整视频了。画面越来越精致,色彩越来越真实,可是只要你仔细听,仔细看嘴型,就会发现一个尴尬的事实:声音和画面之间,总有那么一点点错位。

这篇来自人民大学和腾讯微信团队的论文,干的就是一件听起来不起眼、做起来极其繁琐的事情:把"音画不同步"这件事彻底量化、标注、评估,然后用这套标准去训练一个能打分、能纠错的模型。

这篇论文叫《SyncReward》,研究的问题说白了就是一句话:AI生成的视频里,声音和画面到底有多不同步,以及怎么才能让它们更同步。

一个被忽略的评估漏洞

先说说这个问题到底难在哪。

你可能觉得,判断音画同不同步,不就是看声音出现的时间点和画面动作对不对得上吗?听起来是个很简单的技术活,用算法算一下时间差不就行了。

但事情没那么简单。

现有的同步检测方法,大多数都是在研究真实视频里的时间偏移,比如一段采访视频,嘴唇动作和声音之间差了0.2秒还是0.5秒。这类方法的逻辑是:声音和画面本来就该是一一对应的,只是可能因为录制设备的问题产生了延迟,算法要做的是把这个延迟找出来。

但AI生成视频的问题根本不是"延迟"。

论文里举了个例子特别说明问题:有个生成视频里,画面明明是一个人在弹钢琴,可是耳朵里传来的声音却是若有若无的刮擦声,钢琴声几乎听不见。这不是时间偏移的问题,这是声音内容本身就和画面对不上,或者说AI压根没把该生成的声音生成出来。

还有一种情况更隐蔽:一个唱歌的场景,歌声在响,可是歌手的嘴巴完全不动。这既不是时间偏移,也不是内容缺失,而是生成模型根本没有学会"嘴巴动作要配合歌词"这件事。

这就好比你雇了一个翻译,但这个翻译有时候会把整句话翻错,有时候会漏翻一半,有时候干脆闭着嘴不说话。如果你只用一个"翻译速度是否够快"的指标去考核他,根本抓不住问题的核心。

**现有的同步评估工具,本质上是在用"测时间差"的尺子,去衡量一个"内容对不对、有没有生成"的新问题。**

尺子用错了,再精确也没用。

这就是SyncReward团队要解决的第一个根本矛盾:评估工具跟不上生成模型的失败模式。

80K条专业打分,是怎么来的

要训练一个能准确评判"音画同不同步"的模型,第一步永远是数据。而且不是随便找来的数据,是要覆盖各种声音场景、各种AI生成器、由专业人员一条条打分的数据。

这事儿的工作量有多大?研究团队最终攒出了一个叫SyncReward-Data-80K的数据集,里面包含8万条专业标注,覆盖8个主流的音视频生成模型(包括Kling、Veo、LTX、Ovi等),横跨四大类声音场景。

这四大类分别是:

语音类*:人说话、唱歌、念绕口令这种发声事件,核心看嘴型和声音对不对得上。

动作音类*:脚步声、物体碰撞声、机器启动声这类由具体动作触发的瞬时声音。

乐器类*:小提琴、钢琴、吉他这些有明确演奏动作的音乐场景。

环境音类*:下雨声、交通噪音、人群嘈杂声这种有视觉来源但不是单一动作触发的持续性声音。

为什么要分这么细?因为不同类型的声音,"同步"这个词的含义完全不一样。

脚步声的同步,看的是脚落地的瞬间和声音出现的瞬间是不是对齐,误差可能只有几十毫秒。而环境音比如下雨声,根本不存在一个精确的"触发时刻",它的同步性更多体现在声音的持续性和画面场景是否匹配。如果用同一套标准去衡量这两种完全不同的声音类型,那评估结果必然失真。

这就像你去评价一个厨师做菜的水平,炒菜讲究的是火候时机,分秒不差;而炖汤讲究的是火候的持续和耐心,根本没有一个"精确时刻"可言。如果你拿着秒表去衡量炖汤的好坏,那评价出来的结果毫无意义。

数据怎么来的?团队先用一个叫Qwen2.5-Omni的多模态大模型,给AudioSet和VGGSound这两个真实视频数据库里的片段打字幕,描述画面里看得到的事件和对应的声音。

AudioSet*:谷歌出品的大规模音频事件数据集,收录了海量带标签的真实视频片段。

VGGSound*:牛津大学团队构建的视听数据集,专注于声音和画面来源明确对应的场景。

拿到字幕之后,团队用一个三级分类体系(4大类、16个中类、58个细分小类)把这些字幕归类,再按照类别配额重新采样,避免常见场景(比如对话)占据绝大多数数据,让小众场景(比如乐器演奏)被淹没。

然后是最关键的一步:用大语言模型把原始字幕改写成生成提示词,明确描述"画面里的发声源、它的动作、以及对应的声音"之间的时间对应关系。这个改写过程会把那些"画外音""背景音乐"这类没法在画面里找到视觉来源的声音描述直接删掉,确保生成出来的视频提示词本身就要求音画是可对应的。

拿到提示词之后,团队用8个生成器各生成约1万条视频片段,然后交给5名专业标注员,按照"是否相关"和"同步程度(0到2分)"两步打分流程进行标注。

**整个流程的核心逻辑是:先确保提示词要求音画对应,再用人工标注去捕捉生成模型实际做到了多少。**

这样一来,数据集里的每一条打分都能明确反映出"AI生成的声音和画面,在应该对应的地方,到底对应得怎么样"。

测了一圈现有工具,结果都不太行

有了数据,下一步自然是看看现在市面上那些同步评估工具到底靠不靠谱。

团队搭建了一个独立的评测基准,叫SyncReward-Bench,包含1000条生成视频,每条都由多名专业标注员独立打分,用来做"金标准"对照。

测试结果有点让人意外。

先看专门做同步检测的几个经典工具。AV-Align这个方法,核心逻辑是比较音频的"起音点"(声音突然变强的瞬间)和视觉上的运动峰值是否对齐,听起来很合理,但实测下来,在"动作音"这一类上,它和人类打分的相关性只有7.0(满分100),几乎等于瞎猜。

**在"乐器"这一类上,AV-Align甚至比随机乱猜还差一点。**

另一个叫PEAVS的方法,本来是专门从人类评分里学出来的同步打分器,结果在这批AI生成视频上表现也不理想,各个类别的相关性大多在15分以下。

再看那些通用型的多模态大语言模型判官,比如Qwen2.5-Omni和Qwen3-Omni,它们本身具备很强的语义理解能力,能看懂画面说的是什么、听懂声音里说的是什么,但对"时间上是否精确对齐"这种细粒度的判断,天生就不敏感。实测下来,Qwen3-Omni在语音类别上的相关性是36.3,勉强及格,但在动作音和乐器类上只有23到27分,远远不够用。

这个结果其实不难理解。

就像一个语文老师很擅长判断一篇作文写得好不好、逻辑通不通,但如果让他去判断钢琴演奏里某个音符是不是弹早了半拍,这就超出了他的专业训练范围。

**理解内容和判断时间精度,是两种完全不同的能力。**

通用大模型强于前者,弱于后者。

论文里还做了个很关键的对照实验:把这些通用大模型直接用SyncReward-Data-80K这批人工标注数据去微调,结果提升非常明显。Qwen2.5-Omni微调后,语音类相关性从23.9跳到61.9,几乎翻倍;更大的Qwen3-Omni微调后更是冲到69.5。

这说明什么?说明问题根本不在于模型"笨",而在于它从来没见过这类专门针对AI生成视频失败模式的标注数据。**一旦喂给它对的数据,它立刻就能学会。**

这个发现其实挺重要的,它证明了SyncReward-Data-80K这批数据本身的价值,不是说现有模型能力不行,而是它们缺少对口的训练素材。

SyncReward怎么炼成的

既然知道了通用模型微调后效果能大幅提升,那团队干脆自己设计了一个专门的打分模型,叫SyncReward。

这个模型的训练分成两个阶段,逻辑很清晰:先学会"什么是音画对应"的通用知识,再学会"人类觉得这个同步得好不好"的具体偏好。

第一阶段叫"语义-时间混合对比学习"。

简单说,就是拿海量真实视频(AudioSet和VGGSound加起来220万条)来训练一个音频编码器和一个视频编码器,让它们学会区分三种情况:同一个时间片段里的音频和画面(这叫"对齐正样本"),同一个视频里不同时间片段的音频和画面(这叫"时间负样本"),以及完全不同视频之间的音频和画面(这叫"语义负样本")。

为什么要设计这三种对比关系,而不是只分"对"和"错"两种?

因为"同步"这件事本质上包含两层判断:一层是"这个声音和这个画面是不是说的同一件事"(语义层面),另一层是"这个声音出现的时刻和画面动作发生的时刻是不是对得上"(时间层面)。如果只用语义负样本训练,模型可能学会了"这声音是不是属于这个场景",但分辨不出"这声音是不是出现在正确的时刻"。

举个例子,如果一个视频前半段是弹吉他,后半段是弹钢琴,只靠语义判断,模型可能觉得"反正都是乐器声,大体没问题"。但加入时间负样本之后,模型就被迫去学习:即使同一个视频里,不同时间片段的声音画面组合也是不一致的,必须精确对齐到具体时刻才算对。

这就像训练一个保安去识别"这个人是不是员工",光靠工牌颜色是不够的,万一有人捡到了别人的工牌呢?你还得让他去核对工牌上的照片和人脸是不是对得上,核对打卡时间和这个人出现的时刻是不是吻合。**只认大类不够,必须精确到具体细节和具体时刻。**

第二阶段叫"对齐人类偏好",这时候把第一阶段训练好的编码器冻结住,不再更新,只训练后面新加的一个跨模态Transformer和一个打分头。

Transformer*:一种基于注意力机制的神经网络结构,擅长处理序列化数据之间的相互关系,这里用来融合音频和视频两种模态的信息。

这个阶段用的就是前面提到的SyncReward-Data-80K,那8万条人工打分数据。训练目标结合了两种损失函数:一种是回归损失,让模型输出的分数尽量接近人类打的0到2分;另一种是排序损失,让模型学会"哪个视频同步得更好"这种相对顺序判断,即使具体分数没打准,顺序也不能错。

为什么两种损失都要?因为消融实验显示,如果去掉排序损失,配对准确率会掉3.8个百分点;如果去掉回归损失,掉1.6个百分点。两种监督信号各有各的用处,排序损失尤其重要,因为很多下游应用场景(比如从16个候选视频里选一个最好的)要的就是相对排序,而不是绝对分数。

最终结果如何?在SyncReward-Bench这个基准上,SyncReward这个只有1.6B参数的小模型,表现超过了所有对比方法,包括那些经过微调、参数量高达30B的大模型。在语音类别上,它的相关性达到79.7,比第二名的Qwen3-Omni微调版本(69.5)高出10个点以上。

**一个专门设计、专门训练的小模型,打败了通用能力更强但缺乏针对性训练的大模型。**

这背后的逻辑其实很好理解,就像一个专科医生在他的专精领域里,诊断准确率往往会超过一个什么都懂一点的全科医生,即便全科医生的知识面更广。

不只是打分,还能反过来改进生成模型

光会打分还不够,论文里更有意思的部分是:这个打分模型能不能反过来,用来提升生成模型本身的表现?

团队测试了两种使用场景。

第一种叫"推理时最优选择",英文是Best-of-N。逻辑很简单:让生成模型针对同一个提示词生成16个候选视频,然后用SyncReward去给这16个打分,挑出分数最高的那个作为最终输出。

这就好比你让一个厨师同时炒16份一模一样的菜,然后找一个最懂行的美食评论家去尝一圈,把味道最好的那份端上桌。前提是这个评论家的舌头得足够准,不然选出来的也未必是真的最好吃那份。

实测下来,用SyncReward去挑选的视频,人类偏好打分达到63.67%,比第二名的方法(SynthSync,52.57%)高出11个百分点;用Gemini大模型做自动评判时,差距更大,达到71.94%对54.20%,领先17.7个百分点。

第二种更进一步,叫"强化学习后训练",用的是一个叫DiffusionNFT的技术。

DiffusionNFT*:一种直接在扩散模型的加噪过程上做强化学习优化的方法,不需要像传统强化学习那样估计复杂的似然概率,训练效率更高。

简单理解就是:把SyncReward的打分当作"奖励信号",去直接调整生成模型LTX-2.3的参数,让它在今后生成视频时,更倾向于输出高同步分数的结果。

这个过程有点像训练一只宠物狗。你不是每次都手把手教它该怎么做,而是每次它做对了就给块肉奖励,做错了就没有。时间长了,狗自己就会总结出"怎么做能拿到奖励"的规律,行为模式会朝着奖励信号指引的方向演化。

后训练之后,LTX-2.3生成视频的人类偏好分数从基准模型的32.31%提升到65.78%,几乎翻倍,而且比用其他奖励模型(AV-Align、Synchformer、SynthSync)训练出来的效果都要好,领先第二名12个百分点以上。

论文里还放了两个具体案例,特别直观。

一个是对话场景,后训练前,SyncReward打分只有0.17,画面里说话人的嘴部动作几乎没有,后训练之后分数冲到1.84,嘴型和语音的对应清晰了很多。

另一个是唱歌场景,后训练前打分0.62,声音来源有点模糊,后训练后分数升到1.63,演唱者的嘴部动作和歌声对应得明显更好了。

但这个案例里也暴露出一个值得警惕的问题:后训练之后,提示词里原本要求出现的乐器反而消失了。也就是说,模型为了拼命提升同步分数,可能会在别的地方偷工减料,比如干脆不画出那个难以同步的乐器,这样就不用操心乐器演奏动作和音乐是否对齐的问题了。

**这暴露了一个很现实的矛盾:只优化一个目标(同步性),可能会牺牲另一个目标(提示词的完整还原)。**

这就好比一个学生为了考试不丢分,干脆把不会的题目直接空着不写,这样确实不会因为写错而扣分,但也拿不到这道题的分。**单一目标的优化,很容易在系统的薄弱处找到"捷径",而不是真正解决问题。**

这个发现提醒我们,未来要把同步性奖励和其他目标(比如内容完整性)结合起来一起优化,不能顾此失彼。

表格背后的数字说明了什么

下面这张核心数据表格,把各种方法在四大声音类别上的表现摆在了一起。

在语音类别上,SyncReward拿到79.7分的斯皮尔曼相关性,配对准确率85.1%,两项都是全场最高。排在后面的Qwen3-Omni微调版本分别是69.5和79.4。而没有微调过的通用模型,比如Qwen3-Omni原版,只有36.3分,差距接近一倍。

在动作音类别上,SyncReward拿到70.5分,而传统的同步检测工具SparseSelector只有48.3分,差了22个百分点,这意味着每10次判断里,传统工具大约会比SyncReward多错两次。

环境音类别上差距更大,SyncReward拿到82.1分,几乎是AV-Align(15.3分)的5倍多。

这些数字说明了一件事:专门针对AI生成内容特性设计的评估工具,和那些为真实视频场景设计的工具,根本不是一个量级的表现。

写在后面

读完这篇论文,最触动我的其实不是SyncReward这个模型本身有多精巧,而是那个关于"乐器消失"的案例。

这个细节暴露出一个很容易被忽略的事实:我们现在给AI模型设置的每一个优化目标,都有可能在它没注意到的地方制造出新的问题。你让它更懂同步,它可能就学会了"回避那些难以同步的内容"这种取巧路径。这不是模型在撒谎,而是优化过程本身的逻辑漏洞,它只是在诚实地执行你给它的奖励函数,哪怕这个奖励函数本身是有盲区的。

这让我想起一件完全不相关的事。考试制度里有个经典问题,如果只考数学和语文,学生就会把所有精力投入到这两科,其他能力荒废掉。你以为你在培养全面发展的人才,实际上你只是在培养"擅长应付你这套考核标准的人"。SyncReward团队能够敏锐地在案例研究里把这个问题指出来,而不是藏着掖着只报喜不报忧,这种态度挺难得的。

另外一个让我反复琢磨的点是,论文里提到现有的那些专门做同步检测的工具(AV-Align、Synchformer这些),大多是在真实视频数据上训练出来的,但它们在面对AI生成内容时表现明显打折扣。这其实揭示了一个更普遍的现象:我们评估AI生成内容的工具,往往是拿着评估真实世界内容的标准照搬过来的,但生成内容的"失败模式"和真实内容的"噪声模式"根本不是一回事。真实视频的音画错位大概率来自设备延迟,是一种物理层面的偏移;而生成视频的音画错位,更多来自模型压根没学会"这里该配什么声音",是一种认知层面的缺失。拿错误的尺子去量新的问题,这事儿可能不止发生在音视频同步这一个领域。

Q&A

Q1:SyncReward是什么?

A:SyncReward是人民大学和腾讯微信团队提出的一套音视频同步评估与优化系统,包含8万条人工标注数据集、1千条独立测试基准,以及一个能给AI生成视频的音画同步程度打分的专用模型,既能当评估工具用,也能反过来指导生成模型改进。

Q2:为什么现有的同步检测工具在AI生成视频上表现不好?

A:因为这些工具大多是针对真实视频里的"时间延迟"问题设计的,而AI生成视频的音画错位更多来自内容缺失或语义不匹配,比如弹钢琴却配了刮擦声、唱歌但嘴巴不动,这种问题和单纯的时间偏移完全不是一回事。

Q3:用SyncReward优化生成模型会不会有副作用?

A:会。论文案例显示,后训练后同步分数大幅提升,但有一次提示词里要求的乐器在生成画面中直接消失了,说明单纯追求同步性可能会牺牲内容完整性,需要未来结合多个目标一起优化。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

麓谷隐士
2026-11-17 00:05:10
克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

小怪吃美食
2026-11-18 05:36:39
五角大楼批评乌打击俄远离前线目标,德国防长力挺乌克兰

五角大楼批评乌打击俄远离前线目标,德国防长力挺乌克兰

参考消息
2026-11-18 18:51:07
身体2处“发痒”,或说明“血糖”已超标,不要认为是皮肤病

身体2处“发痒”,或说明“血糖”已超标,不要认为是皮肤病

垚垚分享健康
2026-11-18 19:06:25
克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

好火子
2026-11-17 23:57:53
陈吉宁会见瑞士罗氏集团董事会主席施万

陈吉宁会见瑞士罗氏集团董事会主席施万

澎湃新闻
2026-11-18 18:50:43
萨穆埃尔告别阿根廷队:感谢大家的配合,这些年过得非常精彩

萨穆埃尔告别阿根廷队:感谢大家的配合,这些年过得非常精彩

懂球帝
2026-11-18 20:04:29
台军曾告知台湾民众:开战后,见到穿军服的,一定要尽快远离

台军曾告知台湾民众:开战后,见到穿军服的,一定要尽快远离

不甜的李子
2026-11-18 06:28:57
哈里王子突访乌克兰利沃夫,向乌克兰士兵保证:“你们会赢得战争”

哈里王子突访乌克兰利沃夫,向乌克兰士兵保证:“你们会赢得战争”

忧郁天空
2026-11-17 20:06:03
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

背包旅行
2026-11-17 12:11:31
49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

板栗说事
2025-02-17 07:54:14
8个月娃啃冰块磕哭,马筱梅硬是不拦!疼一回胜过唠叨一百遍

8个月娃啃冰块磕哭,马筱梅硬是不拦!疼一回胜过唠叨一百遍

秋风妃
2026-11-18 19:57:03
宋喆出狱3年县城搬菜日结50块,前妻仓库2000平年营业额1200万,网友吵翻:谁更清醒

宋喆出狱3年县城搬菜日结50块,前妻仓库2000平年营业额1200万,网友吵翻:谁更清醒

迪迪的娱乐故事
2026-11-07 08:36:34
高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

杨仔述
2026-11-18 12:57:26
“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

极目新闻
2026-11-16 11:21:01
毛主席气场最强的一张照片,仅凭一个抽烟动作就无人能比!

毛主席气场最强的一张照片,仅凭一个抽烟动作就无人能比!

微野谈写作
2026-11-18 10:55:09
金饰克价七连跌,较年内高点跌超570元

金饰克价七连跌,较年内高点跌超570元

21世纪经济报道
2026-11-18 12:01:24
骆大进已任上海浦东新区区委副书记、区政府党组书记

骆大进已任上海浦东新区区委副书记、区政府党组书记

澎湃新闻
2026-11-18 17:36:40
全球化退潮,APEC如何寻找新定位?

全球化退潮,APEC如何寻找新定位?

凤凰WEEKLY
2026-11-18 14:59:22
2026-11-18 22:27:00
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10611文章数 572关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
教育
亲子
旅游
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

第十五届“挑战杯”中国大学生创业计划竞赛主体赛拟授奖名单,公布!

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

旅游要闻

昆明这个老码头好在!让你在家门口体验海滨度假

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版