网易首页 > 网易号 > 正文 申请入驻

AI解读视频张口就来?这种「幻觉」难题Vista-LLaMA给解决了

0
分享至



机器之心专栏

机器之心编辑部

Vista-LLaMA 在处理长视频内容方面的显著优势,为视频分析领域带来了新的解决框架。

近年来,大型语言模型如 GPT、GLM 和 LLaMA 等在自然语言处理领域取得了显著进展,基于深度学习技术能够理解和生成复杂的文本内容。然而,将这些能力扩展到视频内容理解领域则是一个全新的挑战 —— 视频不仅包含丰富多变的视觉信息,还涉及时间序列的动态变化,这使得大语言模型从视频中提取信息变得更为复杂。

面对这一挑战,字节跳动联合浙江大学提出了能够输出可靠视频描述的多模态大语言模型 Vista-LLaMA。Vista-LLaMA 专门针对视频内容的复杂性设计,能够有效地将视频帧转换为准确的语言描述,从而极大地提高了视频内容分析和生成的质量。



论文主页:https://jinxxian.github.io/Vista-LLaMA/



图 1

技术创新路径

现有多模态视觉与语言模型在处理视频内容时,通常将视频帧转化为一系列的视觉 token,并与语言 token 结合以生成文本。然而,随着生成文本长度的增加,视频内容的影响往往逐渐减弱,导致生成的文本越来越多地偏离原视频内容,产生所谓的 “幻觉” 现象。

Vista-LLaMA 通过创新的方式处理视频和文本间的复杂互动,突破了传统视频语言模型的限制。Vista-LLaMA 的核心创新在于其独特的视觉与语言 token 处理方式。不同于其他模型,它通过维持视觉和语言 token 间的均等距离,有效避免了文本生成中的偏差,尤其是在长文本中更为显著。这种方法大幅提高了模型对视频内容的理解深度和准确性。



图 2

Vista-LLaMA 采用了一种改良的注意力机制 —— 视觉等距离 token 注意力(EDVT),它在处理视觉与文本 token 时去除了传统的相对位置编码,同时保留了文本与文本之间的相对位置编码。EDVT 机制通过特定的函数处理隐藏层输入,有效区分视觉 token 来源。



具体而言,它首先对输入进行查询、键和值的映射转换,接着对查询和键输入应用旋转位置编码(RoPE),分别计算带 RoPE 和不带 RoPE 的注意力权重。随后,根据视觉 token 的存在与否合并这两种注意力权重,通过 softmax 函数实现注意力的归一化,并最终通过基于注意力权重的线性映射更新表示,生成输出结果。这种创新使得多模态大语言模型能够更加关注视频的内容,尤其在复杂的视频场景中,能够有效地捕捉关键视觉元素,提升了文本生成的质量和相关性。



图 3

同时,该模型引入的序列化视觉投影器为视频中的时间序列分析提供了新的视角,它不仅能够处理当前视频帧,还能利用前一帧的信息,从而增强视频内容的连贯性和时序逻辑。

视觉投影器的作用是将视频特征映射到语言嵌入空间,以便大型语言模型融合和处理视觉与文本输入。如图 4 所示,早期的视觉投影器通常使用线性层或查询转换器(Q-Former)直接将帧特征转换为语言 token。然而,这些方法忽略了时间关系,限制了语言模型对视频的全面理解。Vista-LLaMA 中引入了序列化视觉投影器,它通过线性投影层编码视觉 token 的时间上下文,增强了模型对视频动态变化的理解能力,这对于提升视频内容分析的质量至关重要。



图 4

基准测试结果

Vista-LLaMA 在多个开放式视频问答基准测试中展现了卓越性能。它在 NExT-QA 和 MSRVTT-QA 测试中取得了突破性成绩,这两个测试是衡量视频理解和语言生成能力的关键标准。在零样本 NExT-QA 测试中,Vista-LLaMA 实现了 60.7% 的准确率。而在 MSRVTT-QA 测试中达到了 60.5% 的准确率,超过了目前所有的 SOTA 方法。这些成绩在行业中属于先进水平,显著超越了其他 SOTA 模型,如 Video-ChatGPT 和 MovieChat。



图 5



这些测试结果证明了 Vista-LLaMA 在视频内容理解和描述生成方面的高效性和精准性,Vista-LLaMA 能够准确理解和描述视频内容,显示了其强大的泛化能力。这些成绩不仅展示了 Vista-LLaMA 在理解复杂视频内容方面的能力,还证明了其在多模态语言处理领域的领先地位。

数据集:CineClipQA



图 6

与 Vista-LLaMA 一同提出的还有 CineClipQA 新数据集。

CineClipQA 包含了 153 个精选视频片段,这些片段来自五部风格和叙事手法各异的电影。每个片段代表电影情节的一个或多个独特部分,并附有 16 个量身定制的问题,共计 2448 个问题。问题分为系统提示和问题两部分:

  • 系统提示提供了当前视频片段中关键角色的基本信息,并在必要时为角色的初始行动提供提示。
  • 问题主要分为五类:识别、时间性(预测)、空间性(互动)、意图和感知。具体来说,识别包括地点和行动的问题;时间性涉及下一个行动、之前的行动、同时发生的行动和预测行动的问题;空间性涉及物体与人之间的空间信息问题;意图涉及行动目的地三种相似问题;最后,感知检查情感识别和询问 “如何”(方式、态度等)。

该研究还提供了所有 16 种类型的详细解释和相应案例。在 CineClipQA 数据集中,Vista-LLaMA 也表现出了卓越的性能。



图 7

简言之,Vista-LLaMA 在处理长视频内容方面的显著优势,为视频分析领域带来了新的解决框架,推动人工智能在视频处理和内容创作方面的发展,预示着未来多模态交互和自动化内容生成领域的广泛机遇。

更多详情,请访问项目页面 [https://jinxxian.github.io/Vista-LLaMA]。

关于字节跳动智能创作团队

智能创作团队是字节跳动音视频创新技术和业务中台,覆盖了计算机视觉、图形学、语音、拍摄编辑、特效、客户端、服务端工程等技术领域,借助字节跳动丰富的业务场景、基础设施资源和良好的技术协作氛围,实现了前沿算法 - 工程系统 - 产品全链路的闭环,旨在以多种形式向公司内部各业务线以及外部合作客户提供业界前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案。

目前,智能创作团队已通过字节跳动旗下的云服务平台火山引擎向企业开放技术能力和服务。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
4-4!雪藏贝林厄姆,皇马遭惩罚,31场不败创纪录,安帅乐不起来

4-4!雪藏贝林厄姆,皇马遭惩罚,31场不败创纪录,安帅乐不起来

我的护球最独特
2024-05-20 03:04:34
新车主反映 特斯拉已经不再支持Steam了

新车主反映 特斯拉已经不再支持Steam了

3DMGAME官方号
2024-05-19 09:46:39
家长进学校搬行李遭保安辱骂:看你那个穷样!学校:他骂的有道理

家长进学校搬行李遭保安辱骂:看你那个穷样!学校:他骂的有道理

特特农村生活
2024-05-19 20:02:33
太奇怪了!姚明篮协主席,王芳篮协副主席,姚明怎么就没实权呢?

太奇怪了!姚明篮协主席,王芳篮协副主席,姚明怎么就没实权呢?

林子说事
2024-05-19 17:18:49
被暗杀的斯洛伐克总理已接受两次手术,目前意识清醒,但病情仍然严重

被暗杀的斯洛伐克总理已接受两次手术,目前意识清醒,但病情仍然严重

极目新闻
2024-05-19 10:45:02
回顾江苏一男子,因挑食逃过肺癌?医生夸赞:这四物,幸亏你不爱吃

回顾江苏一男子,因挑食逃过肺癌?医生夸赞:这四物,幸亏你不爱吃

今日养生之道
2024-05-20 00:15:50
回顾妻子女儿吃下“夺命饺子”去世,丈夫落泪:这不是我本意

回顾妻子女儿吃下“夺命饺子”去世,丈夫落泪:这不是我本意

工厂故事驿站
2024-05-19 13:02:45
又一台湾艺人立场存疑!直播称大陆为“你们国家”,评论区已沦陷

又一台湾艺人立场存疑!直播称大陆为“你们国家”,评论区已沦陷

拾娱先生
2024-05-19 19:12:42
汪小菲女友马筱梅异常行为,网友唏嘘:小梅的心态已经有了大变化

汪小菲女友马筱梅异常行为,网友唏嘘:小梅的心态已经有了大变化

小咪侃娱圈
2024-05-18 11:41:59
高盛预测房价回调至2027年三季度,再下跌40%

高盛预测房价回调至2027年三季度,再下跌40%

翔哥说地产
2024-05-17 16:54:43
我当兵时资助一个女孩上大学,转业才发现,她已是我单位的大领导

我当兵时资助一个女孩上大学,转业才发现,她已是我单位的大领导

好点点
2024-05-18 13:33:37
普京:中国汽车越来越好,美国只能搞这种不公平竞争

普京:中国汽车越来越好,美国只能搞这种不公平竞争

环球网资讯
2024-05-18 08:57:15
CBA最新消息!曝周琦续约谈崩,张镇麟引热议,上海男篮被重罚!

CBA最新消息!曝周琦续约谈崩,张镇麟引热议,上海男篮被重罚!

中国篮坛快讯
2024-05-19 13:56:49
赖清德上台倒计时,中方高层接到美电话,22字已出,台海风雨欲来

赖清德上台倒计时,中方高层接到美电话,22字已出,台海风雨欲来

说天说地说实事
2024-05-18 14:04:19
港媒曝梁朝伟东京电影节采访:曾对日本文化及人民的爱不断滋长

港媒曝梁朝伟东京电影节采访:曾对日本文化及人民的爱不断滋长

柠檬有娱乐
2024-05-18 16:32:07
想死你了!朱旭航将拄拐现场助阵新疆男篮,他赛季报销付豪为所欲为

想死你了!朱旭航将拄拐现场助阵新疆男篮,他赛季报销付豪为所欲为

818体育
2024-05-19 16:43:37
俄外长:俄愿与西方在平等条件下进行对话

俄外长:俄愿与西方在平等条件下进行对话

新华社
2024-05-18 22:54:06
网友:这次狂飙兄弟还能逃脱吗?人家提前获得情报,势必插翅难飞

网友:这次狂飙兄弟还能逃脱吗?人家提前获得情报,势必插翅难飞

火山诗话
2024-05-19 10:20:53
王朝崩塌!再见张康阳,美国资本控制国际米兰,标价12亿欧元出售

王朝崩塌!再见张康阳,美国资本控制国际米兰,标价12亿欧元出售

元爸体育
2024-05-19 16:41:34
开放“色”女的9大特征

开放“色”女的9大特征

山九
2024-05-16 08:10:06
2024-05-20 05:50:44
机器之心Pro
机器之心Pro
专业的人工智能媒体
8995文章数 141919关注度
往期回顾 全部

科技要闻

雷军直播开车2000万人围观!突然遭别车

头条要闻

载有伊朗总统的直升机发生硬着陆事故

头条要闻

载有伊朗总统的直升机发生硬着陆事故

体育要闻

克洛普最后一舞!安菲尔德巨大TIFO致敬

娱乐要闻

《庆余年2》首播口碑出炉!有好有坏

财经要闻

洞庭湖区非法采砂 2000余亩洲滩被挖空

汽车要闻

智驾升级/月底上市 问界新M7 MAX焕新版

态度原创

数码
旅游
亲子
艺术
公开课

数码要闻

2025年中前苹果不会推出新款 Mac Studio 和 Mac Pro

旅游要闻

《庆余年2》取景地 丽水“庆”你来玩

亲子要闻

萌娃回家看电视不想写作业,被妈妈训了在爸爸面前“演戏卖惨”,“原来我们小时候的演技这么拙劣”

艺术要闻

真诚度101%,35岁的诚品画廊为什么选择北京?

公开课

父亲年龄越大孩子越不聪明?

无障碍浏览 进入关怀版