网易首页 > 网易号 > 正文 申请入驻

快手Keye-VL-2.0刷新多模态推理能力边界

0
分享至

近日,快手正式发布了新版多模态大模型Keye-VL-2.0-30B-A3B。作为Keye家族最新一代的30B级主力基座,Keye-VL-2.0-30B-A3B率先将DSA(DeepSeek Sparse Attention)机制引入多模态理解场景,成功解锁了256K超长上下文的深度感知,在长视频时序感知上实现了几乎无损的推理能力。

更具里程碑意义的是,这也是Keye系列首次解锁Agent协作机制,在Code、Tool、Search等复杂场景下展现出了扎实的系统级协作与执行潜力。

DSA首次落地多模态,破解长视频理解瓶颈

视频理解的痛点,往往在于超长视觉上下文带来的指数级计算开销与核心信息的稀释。

Keye-VL-2.0-30B-A3B在底层架构上完成了关键跨越——首次在多模态理解场景中成功应用了DSA(DeepSeek Sparse Attention)。通过结合稀疏注意力与极具针对性的特征聚合,模型在处理长达小时级的视频序列时,能够有效进行高噪环境下的信息提纯,精准捕捉关键帧并理清动态规律。

这一技术突破直接体现在模型对长时序任务的理解能力上。无论是TimeLens的细粒度动作锚定,还是在LongVideoBench上的综合长时序解析,Keye-VL-2.0-30B-A3B都展现出了对同级别甚至200B+超大参数开源基座的显著压制力。



从静态识别迈向深度推理,实现视频理解质变

长视频理解一直是多模态领域最具挑战性的方向之一。

传统视觉大模型通常依赖抽帧与标签化描述完成视频解析,能够识别“出现了什么”,却难以真正理解连续时序中的逻辑关系。因此,当用户输入一段数分钟甚至数十分钟的视频,并要求模型进行总结、规划或决策时,很多模型仍会输出基于字幕与标签拼接的“流水账”。

Keye-VL-2.0-30B-A3B则展现出明显不同的能力路径。在冰岛旅行Vlog测试中,模型不仅识别出天气骤变、极端环境与事故风险等关键视觉信息,还能够结合上下文推演出“需准备保暖装备”“建议优先选择跟团出行”等具备现实决策价值的旅行建议。面对工艺制作视频,模型可输出毫秒级精确时间戳拆解,准确识别复杂工序并完成结构化归纳;在电竞赛事视频中,则能够结合视觉变化、字幕信息和比分演化,还原“绝境翻盘”的叙事逻辑,实现跨模态语义融合分析。

这种能力的关键,在于模型开始建立“时序因果链条”。它不仅理解单帧内容,更能够在长时间跨度的视频流中识别事件之间的关联关系,并基于人类逻辑完成更深层次的规划与判断。

Agent能力首次解锁,打通“感知—规划—执行”闭环

此次发布的另一项关键突破,是Keye系列首次在多模态基座中内建了Agent协作机制。

依托Code Agent、Tool Agent等能力模块,Keye-VL-2.0具备复杂任务拆解、工具调度与多轮执行能力,可在代码解析、API调用、任务规划等场景中实现稳定执行。在复杂业务测试中,面对涉及门店检索、距离测算、商品筛选、订单生成等多线程任务链,模型能够自主完成任务规划、参数调用及容错调整,顺利完成多轮执行闭环。这标志着快手多模态模型正式从“内容理解”迈向“任务执行”,具备更强业务协同潜力。

强化学习与多专家融合,构建可靠推理底座

为了进一步提升复杂推理场景下的稳定性,快手还构建了一套全新的多模态强化学习体系。

其中,Context-RL奖励机制通过混合模态参考信息生成细粒度奖励信号,对数学、代码、多步推理等复杂任务进行事实性约束,降低模型幻觉率。同时,团队引入Accuracy Filtering机制,对训练轨迹进行实时质量筛选,剔除逻辑断层与低质量样本,提升强化学习稳定性。此外,针对多任务学习中的“灾难性遗忘”问题,快手还创新性引入跨模态MOPD(多专家策略蒸馏/合并)技术。

通过动态路由与参数融合,模型在持续增强视频理解与Agent能力的同时,依然能够保持数学推理、STEM与指令遵循等通用能力稳定增长。下图是Keye-VL-2.0-30B-A3B最终定版在全维度基准测试中的“全景成绩单”:



扎根业务场景,推动智能生态全面升级

技术突破的终点不但是榜单成绩,更是业务价值兑现。目前,Keye-VL-2.0已在内容推荐、商业化投放、内容治理等多个内部场景落地应用,通过提升视频语义理解精度,显著增强推荐系统命中率和广告标签抽取效果。与此同时,其Video × Agent能力也将进一步赋能创作者生态,实现视频检索、高光提取、智能剪辑、营销生成等自动化工作流,推动内容生产方式升级。

快手技术团队表示,未来将以将以30B版本的成功经验为跳板,稳步向真正的原生多模态(Native Multimodal)与端到端深度融合挺进,通过一次次扎实的业务验证与版本迭代,持续构筑具有深度的行业技术影响力,沉淀不可替代的核心基建壁垒。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
反向卡脖子开始!中国大规模限制技术出口,这4大技术,各个领先

反向卡脖子开始!中国大规模限制技术出口,这4大技术,各个领先

云上乌托邦
2026-06-03 15:16:15
弗兰:乌拉圭人对马竞很有认同感,我们不是热门但能制造麻烦

弗兰:乌拉圭人对马竞很有认同感,我们不是热门但能制造麻烦

懂球帝
2026-06-03 21:25:10
赵露思真把“看着不大,实则敞亮”玩明白了!

赵露思真把“看着不大,实则敞亮”玩明白了!

飛娱日记
2026-04-26 08:49:04
A股,登上新闻联播

A股,登上新闻联播

中国基金报
2026-06-03 22:09:50
47岁薛佳凝参加泼水节,没生娃也有大肚腩,生图看着比精修胖20斤

47岁薛佳凝参加泼水节,没生娃也有大肚腩,生图看着比精修胖20斤

蒂蒂茱家
2026-04-15 12:41:39
你以为麻豆传媒是卖片的,其实它是卖人的

你以为麻豆传媒是卖片的,其实它是卖人的

创始人笔记
2026-04-23 21:44:50
价值60万宝马X5托运途中被烧毁,物流公司称“最多赔2400元”,法院:物流公司存在重大过失,判决全额赔偿

价值60万宝马X5托运途中被烧毁,物流公司称“最多赔2400元”,法院:物流公司存在重大过失,判决全额赔偿

河南交通广播1041
2026-06-02 12:20:37
婚内强奸是强奸,那妻子抢工资是抢劫?付费同房是嫖娼?撕开婚姻最双标的底层真相

婚内强奸是强奸,那妻子抢工资是抢劫?付费同房是嫖娼?撕开婚姻最双标的底层真相

青苹果sht
2026-05-26 04:58:29
胡歌拿下白玉兰视帝,于和伟陪跑真可惜

胡歌拿下白玉兰视帝,于和伟陪跑真可惜

情感大头说说
2026-06-03 19:18:27
76岁的万科创始人王石,最近彻底成了全网焦点。

76岁的万科创始人王石,最近彻底成了全网焦点。

梦录的西方史话
2026-04-23 14:36:39
法网爆冷!萨巴伦卡崩盘出局,女单四强全部诞生

法网爆冷!萨巴伦卡崩盘出局,女单四强全部诞生

老牛体育解说
2026-06-03 22:13:35
1928年,杨宇霆被枪决前跟张学良合影,注意看站姿,早已貌合神离

1928年,杨宇霆被枪决前跟张学良合影,注意看站姿,早已貌合神离

舆图看世界
2026-06-02 08:10:03
超标收取小区车位费,镇江一物业公司被处罚

超标收取小区车位费,镇江一物业公司被处罚

新浪财经
2026-06-03 16:41:03
《主角》结局:刘亿没死,刘红兵没出车祸,易青娥选宋雨继承衣钵

《主角》结局:刘亿没死,刘红兵没出车祸,易青娥选宋雨继承衣钵

嘴角上翘的弧度
2026-06-02 03:20:33
40岁以上中年人失业都干嘛去了?网友:跑顺风车,送外卖,当保安

40岁以上中年人失业都干嘛去了?网友:跑顺风车,送外卖,当保安

律法刑道
2026-04-12 09:35:52
异性对接吻一定要慎重,一旦“接吻”了,关系就会发生重大变化!

异性对接吻一定要慎重,一旦“接吻”了,关系就会发生重大变化!

皓皓情感说
2026-05-15 12:29:38
新能源汽车维修遭垄断,4400万车主选择权被锁

新能源汽车维修遭垄断,4400万车主选择权被锁

第一财经资讯
2026-05-11 16:52:11
FIFA秘书长:与央视达成了FIFA与中国有史以来金额最高的协议

FIFA秘书长:与央视达成了FIFA与中国有史以来金额最高的协议

懂球帝
2026-06-03 13:40:07
1980年,陈丕显说王兆国38岁就当二汽副厂长,邓小平:要好好培养

1980年,陈丕显说王兆国38岁就当二汽副厂长,邓小平:要好好培养

帝哥说史
2026-05-28 06:40:03
发现一个现象:中产返贫三件套,已经升级为六件套了!

发现一个现象:中产返贫三件套,已经升级为六件套了!

番外行
2026-05-18 10:25:35
2026-06-04 02:31:00
公益的力量
公益的力量
公益之光照亮人心,温暖与希望同行。
259文章数 2关注度
往期回顾 全部

科技要闻

传DeepSeek融资意向500亿:腾讯投100亿

头条要闻

男子不想上班辞职后上武当山当道士 8个月后选择下山

头条要闻

男子不想上班辞职后上武当山当道士 8个月后选择下山

体育要闻

选择中国品牌的库里,和他们的巨大野心

娱乐要闻

官方痛批乱象 刘涛郑恺等艺人遭点名

财经要闻

AI,开始偷懒了?

汽车要闻

专访蒋平:安全不做高低配 长安要让安全技术普惠

态度原创

艺术
健康
亲子
旅游
房产

艺术要闻

二十年前割麦的场景

违规干细胞抗衰美容,为何肆无忌惮

亲子要闻

9岁孩童竟患上冠心病!医生说明原因,父母后悔不已……

旅游要闻

“一票跨两省”还游客完整壶口 | 新京报社论

房产要闻

突发!254亩调规,海口江东的超级学校真的快来了!

无障碍浏览 进入关怀版