网易首页 > 网易号 > 正文 申请入驻

火山引擎多媒体实验室提出VQ-Insight,AIGC视频画质理解大模型

0
分享至

火山引擎多媒体实验室是字节跳动旗下的研究团队,致力于探索多媒体领域的前沿技术,参与国际标准化工作,其众多创新算法及软硬件解决方案已经广泛应用在抖音、西瓜视频等产品的多媒体业务,并向火山引擎的企业级客户提供技术服务。实验室成立以来,多篇论文入选国际顶会和旗舰期刊,并获得数项国际级技术赛事冠军、行业创新奖及最佳论文奖。

近日,AAAI 2026 公布了录用结果,该会议是是人工智能领域极具影响力的国际顶级学术会议之一。据悉本次会议共有 23680 篇投稿进入审稿阶段,最终 4167 篇论文被录用,录取率为 17.6%。

火山引擎多媒体实验室和北京大学合作的论文《VQ-Insight: Teaching VLMs for AI-Generated Video Quality Understanding via Progressive Visual Reinforcement Learning》被选为本次会议口头汇报文章。

VQ-Insight: https://arxiv.org/pdf/2506.18564

Q-Insight: https://arxiv.org/pdf/2503.22679

⭐️训练与推理代码:https://github.com/bytedance/Q-Insight

开源模型:https://huggingface.co/ByteDance/Q-Insight

论文背景

随着视频生成模型的涌现,仅凭一句提示词或一张图片生成逼真、生动的高质感视频正逐渐成为现实。随着 AIGC 视频技术加速演进,如何在后训练阶段进一步提升模型的生成质量变得尤为关键。可靠的质量评估与偏好选择不仅是评价工具,更是后训练的重要驱动力,它们能够精确引导视频生成模型向人眼感知对齐,从而显著提升画面质量与时序一致性。

此前,北京大学与火山引擎多媒体实验室联合提出了首个基于强化学习训练的多模态大模型图像画质理解方案Q-Insight。该方法摆脱了对大规模文本标注的依赖,充分挖掘大模型的推理潜力,使其能够深入思考图像质量背后的本质因素。然而,将这一思路扩展到 AIGC 视频评估仍面临新的挑战,即:1)如何更有效地激发大模型的时序感知能力与多维度画质理解能力;2)如何建立评估模型与生成模型的反馈互动,使两者在优化过程中获得动态增强,相互促进。

渐进式视觉质量强化学习框架

图像只捕捉视频的一个切片,用户真实的视频观看体验还取决于时间维度,例如运动是否自然?色彩是否在动态中稳定?因此,我们把 Q-Insight 的 “推理式 + 强化学习” 思路,拓展到自然视频和 AIGC 视频中,提出了推理式 AIGC 视频画质理解大模型VQ-Insight。该方法使用渐进式的视觉质量强化学习框架,包括图像打分预热阶段、任务驱动的通用时序学习阶段以及与视频生成模型的联合微调阶段。通过由易到难、由通用到具体的视频质量打分学习,仅使用少量数据就能教会 AIGC 视频偏好比较,AIGC 视频多维度打分,自然视频打分等多项任务,并最终建立和下游生成模型的专项评估能力。同时,该方法引入时序建模奖励函数和长度控制奖励函数,鼓励大模型探索视频帧间的相关性和连贯性,并提供对于视频质量线索的丰富分析,增强偏好比较和分数回归的准确性。

进一步,该方法提出了一种生成模型与质量评估模型 “共同进化” 的联合训练方式:生成模型每一轮都会产生一批新视频,VQ-Insight 自动从中挑选出更好的和更差的样本,构建高质量偏好数据;这些偏好数据既用于继续优化视频生成模型(如 DPO),也用于反向加强 VQ-Insight 的偏好理解能力,使其逐步适配并引导当前的生成模型。通过这种闭环式的协同优化,生成模型和评估模型会随着迭代不断变强,实现 “越生成越懂、越懂越能生” 的持续提升效果。

实验结果

实验结果充分验证了 VQ-Insight 在 AIGC 视频偏好比较,多维度打分和自然视频打分任务中的卓越表现。

  • 在 AIGC 偏好比较任务上,VQ-Insight 在多个公开数据集上的表现均超过当前最先进的方法,并能够从视觉质量、时序一致性、动态程度和视频真实性方面提供完整详细的推理过程。

  • 在 AIGC 多维度打分任务上,VQ-Insight 能够在空间质量、时序质量和文本视频一致性打分上都取得最优性能。

  • 在自然视频打分任务上,VQ-Insight 同样表现出出色的分数拟合精确度,特别是在域外数据集上泛化能力突出。

  • VQ-Insight 强大的 AIGC 视频偏好比较能力,可直接应用于视频生成模型的直接偏好优化(DPO)。如图所示,基于 VQ-Insight 的方案相比于生成模型基线和对比方法,有效地缓解了错误生成的问题,并有着更鲜艳的色彩和动态。

总结

VQ-Insight 将 “推理式 + 强化学习” 思路应用于 AIGC 视频画质理解任务中,在偏好比较、多维度画质打分与自然视频质量评估等任务上均取得了突破性表现。通过渐进式视觉质量强化学习框架与创新的时序奖励机制,VQ-Insight 能够以极少的数据实现强泛化和强解释性,精准捕捉视频的空间清晰度、动态一致性、内容真实性等多维度质量特征。更重要的是,VQ-Insight 已能直接用于生成模型的后训练,成为生成视频训练的可插拔奖励与偏好模块,把 “看得准” 转化为 “生成得更好”,为未来的视频生成模型带来更稳定、更符合人眼感知的画面质量,为下一代 AIGC 视频生成技术的发展奠定了关键基础。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国接到消息,东盟峰会第一天,菲防长大谈南海,帮手已签字挺菲

中国接到消息,东盟峰会第一天,菲防长大谈南海,帮手已签字挺菲

章幃户外
2026-11-17 11:00:55
1分钟拉涨停!600410领衔强势封板,华为算力概念拉升

1分钟拉涨停!600410领衔强势封板,华为算力概念拉升

证券时报
2026-11-17 10:36:03
研究发现,凡是头发白得早的人,大多都有 5 个共性,留意观察

研究发现,凡是头发白得早的人,大多都有 5 个共性,留意观察

荷兰豆爱健康
2026-11-04 18:23:17
重磅官宣:罗伯特帕丁森成为新一任007 定妆照同步放出全引发热议

重磅官宣:罗伯特帕丁森成为新一任007 定妆照同步放出全引发热议

立真娱乐
2026-11-17 09:36:56
10月澳洲市场:比亚迪销量再破万,经销商协会坐不住了

10月澳洲市场:比亚迪销量再破万,经销商协会坐不住了

汽车公社
2026-11-16 13:41:48
54岁陶虹变化真大:常年吃素、又胖又老,穿灰色大衣打扮很低调

54岁陶虹变化真大:常年吃素、又胖又老,穿灰色大衣打扮很低调

小疯子耶
2026-11-15 07:30:45
西部排名又变了:湖人坐收好礼,勇士岌岌可危,3队排名互换

西部排名又变了:湖人坐收好礼,勇士岌岌可危,3队排名互换

篮球大视野
2026-11-17 14:06:35
俄乌冲突最新进展:11月17日晚上最新消息

俄乌冲突最新进展:11月17日晚上最新消息

第一校尉
2026-11-17 17:55:12
提升性生活时长,这些食物要多吃

提升性生活时长,这些食物要多吃

精彩分享快乐
2026-10-25 21:00:08
荷兰经济部长:是我让安世脱离中国的,这一切都为了荷兰与欧洲

荷兰经济部长:是我让安世脱离中国的,这一切都为了荷兰与欧洲

白浅娱乐聊
2026-11-17 13:54:47
河北惊现“顶级冤种”:丈夫打工20年,妻子用60万养情人和私生子

河北惊现“顶级冤种”:丈夫打工20年,妻子用60万养情人和私生子

江启
2026-11-11 13:03:14
外交部回应美国政府调查涉英伟达芯片一事

外交部回应美国政府调查涉英伟达芯片一事

每日经济新闻
2026-11-17 15:50:54
特朗普到深圳,真正想看的东西不在会场里

特朗普到深圳,真正想看的东西不在会场里

叶老四
2026-11-17 19:01:53
中国稀土王牌被废?马斯克向全世界宣布:特斯拉电机100%不用稀土

中国稀土王牌被废?马斯克向全世界宣布:特斯拉电机100%不用稀土

南风不及你温柔
2026-09-13 08:23:52
《谷雨》九把保护伞倒了八把,跑掉的那个,从头到尾没上过棋盘

《谷雨》九把保护伞倒了八把,跑掉的那个,从头到尾没上过棋盘

天玑影视说
2026-11-17 18:26:58
家族绝后意味着什么?网友:恐龙灭绝也不是因为恐龙们丁克

家族绝后意味着什么?网友:恐龙灭绝也不是因为恐龙们丁克

带你感受人间冷暖
2026-11-16 00:11:41
还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

带你感受人间冷暖
2026-11-14 15:59:30
主控官步步紧逼,邝港杰死咬:没见弟弟用武器打蔡天凤 车里没锤子

主控官步步紧逼,邝港杰死咬:没见弟弟用武器打蔡天凤 车里没锤子

小椰的奶奶
2026-11-17 15:15:25
赵本山的徒弟程野在直播间说了大实话:拍新戏《走马上任》那会儿,师父不仅下了极大功夫,私下里更是把他们这帮人敲打得冷汗直流

赵本山的徒弟程野在直播间说了大实话:拍新戏《走马上任》那会儿,师父不仅下了极大功夫,私下里更是把他们这帮人敲打得冷汗直流

一盅情怀
2026-11-13 12:44:00
国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

郭爱华追问教育
2026-11-15 06:10:02
2026-11-17 21:19:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142759关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

旅游
时尚
亲子
游戏
数码

旅游要闻

期待值拉满!北京将上新这些博物馆

今年秋冬最火搭配:风衣+阔腿裤,怎么穿都时髦

亲子要闻

中国人能飞

XBOX官宣重大更新!情怀十足 有玩家看了后悔买PS5

数码要闻

AOC“Q27P4C”27英寸显示器发售:2K 120Hz +双扬声器,1499元

无障碍浏览 进入关怀版