网易首页 > 网易号 > 正文 申请入驻

1080条提示词、7款模型比拼:视频生成好看、好用又准确差多少?

0
分享至



当视频生成模型走出娱乐创作的舒适区,进入科学、医疗、教育等知识密集场景,它们是否还能生成事实准确、清晰可用的视频?



任务对比 —— 传统视觉质量导向 vs KIVI 知识密集型导向

针对这一挑战,研究者首次定义了「知识密集型视频生成」(KIVI)新任务 —— 要求模型从简短提示词出发,生成事实准确、用户能照着做的视频。团队配套构建了 1080 条提示词的 KIVI-Bench 评测集,提出 FactP 与 HelpS 两个自动指标,并在 7 款主流模型上揭示了实体误描、操作错误、组件错位三类系统性短板。



  • 论文标题:Knowledge-Intensive Video Generation
  • 论文链接:https://arxiv.org/abs/2606.01285
  • 代码仓库:https://github.com/wcxhimself/KIVI

一个被忽视的空白:

视频生成不该只为娱乐存在

过去两年,从 Sora 到 Seedance,视频生成模型在画面质量、运动流畅度和时空一致性等方面取得了显著进展。然而,现有研究与评测仍主要围绕「视频是否好看」展开,较少关注生成内容是否事实准确、过程是否合理、信息是否真正有用。

随着视频生成技术逐渐走出娱乐创作场景,它正在进入医疗、教育、科学传播、操作指导等知识密集领域。在这些场景中,用户关心的不只是画面是否逼真,而是模型能否准确表达知识、清晰展示过程,并帮助用户理解或完成具体任务。也就是说,视频生成模型面临的核心问题正在发生变化:从「能否生成自然流畅的视频」,转向「能否生成知识可靠且有实际价值的视频」。

这种变化也暴露出现有视频生成范式与真实用户需求之间的错位。比如,当用户搜索「如何更换汽车轮胎」时,他们期待的不是一段视觉效果华丽但步骤含糊的视频,也不是先由自己写出完整分镜脚本,再交给模型逐段生成,更合理的方式应该是,模型能够直接理解用户意图,并生成一段步骤正确、过程清晰、可操作的视频。因此,我们提出 KIVI,将视频生成的评测目标从视觉质量导向,推进到知识可靠性与用户实用性导向。

KIVI-Bench:

1080 条模拟用户真实使用场景的提示词

18个类别涵盖汽车维护、健康医疗、电子设备等,经 LLM 扩充与人工去重后保留 1080 条提示词。

提示词的构造遵循五个标准。视频优越性:比文字更直观(如空间操作、界面导航);事实正确且可核验:提示词事实正确,实体有公开文档可核验;专有名词有知识挑战性:使用具体产品实名(如 Bosticht 卷笔刀),而非泛指实体;超越常识:需要真正掌握特定知识(如 Omron BP5450 血压计的操作步骤),不能仅凭日常经验作答。贴近真实:表述简短自然,符合用户实际提问方式。

自动评估标准:FactP 与 HelpS

传统视觉指标(Imaging Quality, Motion Smoothness 等)与人类对内容准确性和帮助性的判断几乎无关,为此,KIVI 设计了两个互补的自动评估标准:

FactP(事实精度)回答「说没说对」。它的思路是先抽取、再验证 ——LLM 从视频中提取原子化声明,逐条判定正误,按正确比例计分。

HelpS(帮助性评分)回答「能不能照着做」。LLM 从相关性、完整性、清晰度三个维度打分,核心追问:用户能否仅凭这段视频完成所提任务?两者互补,形成完整评价体系。



KIVI 多阶段评测管线

七款模型「同台应试」

团队评测了 7 款主流系统,涵盖闭源 API(Seedance 2.0、HappyHorse 1.0)、开源短视频生成模型(Wan 2.2、HunyuanVideo 1.5)和开源长视频模型(Helios-Base、LongCat-Video、LongLive 1.0)。

人工制作视频的 FactP 和 HelpS 分别达到 97.8% 和 81.9%,远超当前视频生成模型。在模型结果中,闭源短视频模型 HappyHorse 1.0 获得最高 FactP(83.2%),Seedance 2.0 获得最高 HelpS(66.6%)。最佳开源短视频模型 Wan 2.2 的 FactP 和 HelpS 分别为 73.1% 和 48.4%,与闭源模型仍存在明显差距。总体来看,短视频生成模型虽然尚未达到人工制作水平,但在事实准确性和帮助性上均显著优于长视频生成模型。



KIVI-Bench 评测结果(基于 54 条均匀采样子集)

人类评估:在 108 组两两对比中,FactP 与人工事实判断一致性达 70.8%,显著优于现有的视频质量自动评估标准 VBench-Long 最优维度(56.5%),HelpS 与人工帮助性判断一致性达 69.0%。而传统指标如 Imaging Quality(38.9%)几乎与人类判断无关。



人类评估结果

三大系统性错误:模型到底错在哪?



错误类型占比

对870条错误声明的分类揭示三类短板:

实体误描占比最高,达 42.6%。模型经常 "发明" 不存在的外观特征,涉及特定产品型号时幻觉率急剧攀升 —— 比如将 Bostitch 电动卷笔刀画成了盒状插孔,而真机是弧形机身。

操作错误紧随其后,占 40.7%,这类错误更隐蔽:外观画对了,步骤却错了。模型能还原 BP5450 血压计的外形,却把袖带绑在了前臂,而这台设备专为上臂设计,暴露了程序性知识的系统性缺失。

组件错位占比 15.0%,虽然比例最低,但机油和漏斗出现在中央扶手箱而非发动机舱这类错误,同样意味着视频对用户毫无帮助。



三类主要事实性错误示例

结语:从视觉生成走向知识传达

KIVI 系统定义了视频生成中一个长期被忽视的任务方向:视频不应只服务于娱乐创作,也应能够在知识密集场景中准确传达信息、清晰展示过程,并真正帮助用户理解或完成任务。

当目标从「还原画面描述」转向「传达可靠知识」,视频生成的评测标准也需要随之改变。传统评测中表现最好的模型,未必能够在事实性、过程合理性和实用性上保持优势;而从简短文本需求直接生成知识型视觉内容,也对模型的理解、规划和生成能力提出了更高要求。

因此,KIVI 不只是一个新的基准,更是在重新定义视频生成的下一阶段目标:从「画面是否自然」走向「内容是否可靠」,从「娱乐创作工具」走向「知识获取媒介」。这也指向了视频生成从像素空间走向实用空间的下一个前沿方向。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国资深男演员车祸去世,曾参演《成长的烦恼》《老友记》等!经纪人:原本伤势不致命,住院观察及治疗骨折后突然离世,警方正在详细调查

美国资深男演员车祸去世,曾参演《成长的烦恼》《老友记》等!经纪人:原本伤势不致命,住院观察及治疗骨折后突然离世,警方正在详细调查

都市快报橙柿互动
2026-11-21 16:16:31
姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

开成运动会
2026-11-21 11:24:38
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

东方豪侠
2026-11-21 13:27:30
广东气温暴跌10℃!广东人脚上拖鞋焊死,全国网友笑疯了

广东气温暴跌10℃!广东人脚上拖鞋焊死,全国网友笑疯了

另子维爱读史
2026-11-21 22:06:33
黄仁勋倒下后,对他下手最狠的,居然是之前然把他吹上天的那位

黄仁勋倒下后,对他下手最狠的,居然是之前然把他吹上天的那位

麓谷隐士
2026-11-21 07:16:43
前10月全国税收收入增长6%,其中个税收入增长22.9%

前10月全国税收收入增长6%,其中个税收入增长22.9%

风向观察
2026-11-20 18:17:34
在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

快科技
2026-11-21 18:44:08
问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

都市快报橙柿互动
2026-11-21 17:58:25
第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

大风新闻
2026-11-21 11:57:02
全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

徐德文科学频道
2026-11-20 15:21:42
网易号平台每日辟谣公告(十一月二十一日)

网易号平台每日辟谣公告(十一月二十一日)

网易号官方平台
2026-11-21 18:21:29
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
泽连斯基质疑美国对乌方区别对待:能帮以色列,那也可以支持乌克兰

泽连斯基质疑美国对乌方区别对待:能帮以色列,那也可以支持乌克兰

澎湃新闻
2026-11-21 17:40:05
“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

王老师你还好吗
2026-11-21 13:25:53
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
冲上热搜!全军暂停采购八马茶业

冲上热搜!全军暂停采购八马茶业

深蓝财经
2026-11-21 16:09:33
2026-11-22 00:11:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
时尚
本地
家居
教育

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

提升冬日幸福感的8件小事,太治愈了

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

民办高校登上全国就业会议发言席,这三个信号值得关注

无障碍浏览 进入关怀版