山东
IT之家 8 月 23 日消息，科技媒体 9to5Mac 今天发布博文，报道称苹果研究团队开源 SlowFast-LLaVA-1.5 长视频多模态大语言模型，在 1B、3B、7B 参数规模下，均刷新 LongVideoBench、MLVU 等 SOTA 基准纪录。
IT之家援引博文介绍，当前大语言模型在处理和理解视频方面，通用做法是在 AI 预训练中集成视频感知，但这种做法存在以下 3 重局限性：
- 现有现有模型往往严重依赖长上下文窗口，而处理时通常会遇到大量冗余帧，易超出上下文窗口限制，从而丢失信息。
- 大多数训练需要复杂的多阶段训练管道（通常使用私有数据集），难以重现。
- 许多模型仅针对视频任务优化，限制了在图像的理解，从而降低通用模型的实用性。
苹果公司针对上述 3 个局限性，首先研究推出了 SlowFast-LLaVA 开源模型，最大的亮点是创新双流（two-stream）设置，其中“慢流”选取少量高分辨率帧捕捉场景细节，“快流”选取更多低分辨率帧追踪运动变化。
苹果进一步在开源模型 SlowFast-LLaVA 模型上，通过微调图像模型，进一步增强视觉推理能力，再联合图像与视频训练，保留图像理解优势，推出了 SlowFast-LLaVA-1.5 版本。
在设计上，SF-LLaVA-1.5 将输入视频帧数固定为 128，其中快流 96 帧，慢流 32 帧，适配各种时长视频。这种方法虽可能漏掉关键帧或影响播放速度判断，但显著降低了计算和显存需求。研究团队指出，可通过引入内存优化技术（如随机反向传播）进一步改进，但需解决高显存占用问题。
测试显示，该模型在长视频基准 LongVideoBench、MLVU 上均取得新纪录，而且 1B 版本也能领先竞争对手。同时，它在知识问答、数学推理、OCR 等图像相关任务上表现出色，实现视频与图像的通用理解能力。
该项目完全基于公开数据集训练，方便学术与产业复现，并已在 GitHub 与 Hugging Face 开源。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
