长视频理解零成本平替！VideoRAG视觉对齐+三库检索碾压商业API

始智AI wisemodel.cn开源社区

始智AI wisemodel.cn社区是源自中国的中立开放的AI开源社区。正在，欢迎加入共同成长。wisemodel社区上线，H800/H20等资源上线，价格实惠，灵活方便，支持在线微调训练模型，及和，并。

在当今人工智能飞速发展的时代，视觉语言模型（LVLMs）为我们理解和处理多媒体内容带来了诸多便利，但在面对长视频理解这一领域时，仍存在不小的挑战。

不同于主流的「微调」和「基于Agent」这类高资源需求的方案，由厦门大学和罗切斯特大学联合推出的研究Video-RAG在长视频理解领域取得突破，带来了轻量级的创新解决方案。

该方法借助开源工具，巧妙地将视觉对齐的文本信息作为辅助文本输入，经过检索后与视频帧和问题一起以即插即用的方式整合到现有的LVLM中，节约计算资源。

在与72B开源视觉语言模型（LVLM）结合使用时，Video-RAG的性能可以超过商业闭源模型（例如GPT4o、Gemini1.5）。

这项研究为长视频理解提供了一个高效且实用的解决方案。相比现有方法，Video-RAG既保持了较高的性能表现，又大大降低了部署和使用成本，现已上线始智AI-wisemodel开源社区，欢迎大家使用。

代码地址

https://wisemodel.cn/codes/Video-RAG/Video-RAG

01.

研究背景

在人工智能领域，视觉语言模型（LVLMs）为多媒体内容处理提供便利，却在长视频理解方面存在局限。

主流的解决方案主要分为两类：一类是像LongVA那样，通过扩展LVLMs的上下文长度来增强长视频理解能力；另一类则是如VideoAgent，将检索增强生成（RAG）以及智能代理（Agent）技术应用于视频任务。

但这些方法在处理长视频时存在对齐视觉上下文的挑战，并且资源消耗大。微调一个LVLMs需要高质量的长上下文语料，而基于智能代理的方案往往需要商业语言模型（例如GPT-4o）进行驱动，对于API的消耗十分巨大。

02.

技术创新

为了解决这些问题，Video-RAG提出了一个轻量级的解决方案。它 利用开源工具从视频中提取文字、语音和物体检测等辅助信息。 再通过RAG(检索增强生成）技术筛选出与问题相关的信息，在解决上下文窗口限制的同时，提取与查询更加对齐的辅助信息。 最后将筛选后的信息与视频帧一起输入到LVLM中。

第一步：查询解耦，用户的查询被分解为检索请求，用于从目标视频中提取三类不同的辅助文本。在这个阶段，LVLM仅处理文本信息，不访问视频帧，输出请求格式为JSON。

第二步：辅助文本生成与检索。

• 光学字符识别（OCR）数据库，使用EasyOCR模型从每个采样视频帧中提取文本，并使用Contriever模型将其编码为文本嵌入，存储在FAISS索引中，用于通过RAG技术进行检索；

• 自动语音识别（ASR）数据库，使用Whisper模型从视频中提取音频转录文本，并将其编码为 向量数据库 ；

• 对象检测（DET）数据库，使用APE模型从关键帧中提取对象类别和位置信息，并使用场景图预处理对象信息（包括物体位置、数量以及关系信息），构建更连贯的文本表示；

第三步：整合与生成，将检索到的辅助文本与用户查询和视频帧一起输入LVLM，生成最终响应。

Video-RAG利用开源工具从纯视频数据中提取视觉对齐的辅助文本，增强了LVLMs的能力。由于采样的视觉内容通常缺乏与指令查询的显式对齐，容易产生幻觉。而辅助文本的输入可以促进跨模态对齐，同时减少模态之间的差异。

通过Video-RAG，检索到的辅助文本帮助引导LVLM更多地关注与查询相关的关键帧，同时促进查询与关键帧之间的跨模态对齐，例如以下这个例子：

03.

主要优势

Video-RAG具备显著优势，其一，它具有即插即用的特性，可以无缝集成到任何开源LVLM中；其二，资源友好，在Video-MME基准上，平均每个问题仅需增加约2000个token；其三，性能优异，在多个基准测试中实现性能提升，甚至可达到商业级模型（如Gemini-1.5-Pro）的性能。Video-RAG为长视频理解领域带来了新的曙光，有望推动相关技术的进一步发展与应用。

----- END -----

wisemodel相关：

系统升级：

系列模型：

关于wisemodel更多

1

欢迎持续关注和支持

开源社区建设需要长期坚持和投入，更需要广大用户的积极参与、贡献和维护，欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果，包括模型、数据集和代码等发布到 wisemodel.cn 社区，共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信，申请加入wisemodel社群，持续关注wisemodel.cn开源社区动态。

2

欢迎加盟wisemodel开源社区

始智AI wisemodel社区自2023年9月上线以来，逐渐成为影响力日益扩大的中立开放的AI开源社区，为了加快公司发展，我们长期需要技术、运营等人才加盟，技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术， 以及熟悉开发者生态运营的成员，欢迎感兴趣的朋友加盟，可以通过添加wisemodel微信，或者将简历投递到邮箱：liudaoquan@wisemodel.cn

3

欢迎投稿优质内容

欢迎投稿分享人工智能领域相关的优秀研究成果，鼓励高校实验室、大企业研究团队、个人等，在wisemodel平台上分享各类优质内容，可以是AI领域最新论文解读、最新开源成果介绍，也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn，也可以扫码添加wisemodel微信。

4

关于wisemodel开源社区

始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将打造成“HuggingFace”之外最活跃的AI开源社区，汇聚主要AI开源模型、数据集和代码等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。

向上滑动查看