北京
想象一下，你把一段发布会录像丢给聊天机器人，它不仅告诉你画面里发生了什么，还能结合字幕讲出演讲者的核心观点——而这一切，不需要AI天生就会“看”视频。本周，一个名叫claude-real-video的开源项目在技术圈悄悄走红，它做成的正是这件事：让Claude、ChatGPT这类原本只能处理文字的大模型，像人一样理解视频内容。
项目本身并不尝试给大模型塞进“眼睛”，而是绕了一个巧妙的弯。收到视频后，它先进行场景检测，自动找出画面发生变化的节点，接着提取关键帧，也就是最具代表性的几张截图。然后，去重模块上场，剔除掉高度相似的冗余画面，避免AI被重复信息淹没。与此同时，字幕对齐技术会把语音或内嵌字幕与对应的时间片段匹配好，形成结构化的文字说明。
一套流程走完，原本连续的视频就变成了一组精选画面加时间戳字幕的“故事板”。最后，这些图文线索被一并送入大语言模型，模型就像读连环画一样，根据截图描述视觉内容、结合字幕推断剧情走向，输出完整的视频摘要或问答结果。
这个项目之所以让人兴奋，是因为它没有等待多模态模型的缓慢进化，而是用纯软件流程，立刻拓展了现有大模型的能力边界。通过开源代码，任何开发者都能让手边的文字模型具备“看视频”的技能，降低了对专用视觉模型的依赖，也为视频搜索、自动剪辑笔记等应用打开了一道轻量化的大门。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
