网易首页 > 网易号 > 正文 申请入驻

国产最强多模态宝座又易主?671B参数练就“火眼金睛”,基于DeepSeek打造

0
分享至

智东西11月28日报道,刚刚,快手开源其新一代旗舰多模态大模型Keye-VL-671B-A37B。该模型基于DeepSeek-V3-Terminus打造,拥有6710亿个参数,在保持基础模型通用能力的前提下,对视觉感知、跨模态对齐与复杂推理链路进行了升级,实现了较强的多模态理解和复杂推理能力。

Keye-VL-671B-A37B有多强?我们先用几个案例来感受下。下面的图中有几张电影票?多数人看完第一眼可能会脱口而出:“三张。”

不过,Keye-VL-671B-A37B的观察更为仔细,结合票据上的文字,它能判断出其实图中仅有两张电影票,最上面那一张是爆米花小吃券。查看思考过程后,可发现它不仅准确识别画面中每张票据的文字、标识和版式差异,更能进一步推理:左边和中间的票据符合电影票的核心特征,右侧票据无座位信息、无影片场次标注,实为叠放的食品兑换券,并非电影票。

除了图像理解能力以外,Keye-VL-671B-A37B同样拥有强大的视频理解和推理能力。当被问及下方视频的镜头是怎样变化时,它能识别出“蓝色双层电车”、“Louis Vuitton”、“Tiffany & Co”等核心元素,并输出镜头变化的细节。

快手公布了Keye-VL-671B-A37B与其他VL模型的性能对比。在通用视觉理解和视频理解两大核心领域,Keye-VL-671B-A37B的整体表现超过了字节的Seed1.5-VL think、阿里的Qwen3-VL 235B-A22B等前沿VL模型。

在涵盖STEM、推理、通用问答、视频理解、OCR和纯文本等能力的26项主流基准测试上,Keye-VL-671B-A37B斩获18项最高得分。

目前,Keye-VL-671B-A37B已经正式开源,可在Hugging Face和GitHub下载体验。

Github:

https://github.com/Kwai-Keye/Keye

HuggingFace:

https://huggingface.co/Kwai-Keye/Keye-VL-671B-A37B

一、三阶段完成预训练,仅使用300B高质量数据

Keye-VL-671B-A37B采用DeepSeek-V3-Terminus作为大语言模型基座初始化,具备更强的文本推理能力,视觉模型采Keye-ViT初始化,这一组件来自Keye-VL-1.5,二者通过MLP层进行桥接。Keye-VL-1.5是快手今年9月初开源的一款多模态大模型,拥有80亿个参数,支持128k tokens扩展上下文。

Keye-VL-671B-A37B的预训练涵盖三个阶段,以系统化构建模型的多模态理解与推理能力。模型复用Keye-VL-1.5的视觉编码器,该编码器已经通过8B大小的模型在1T token的多模态预训练数据上对齐,具备较强的基础感知能力。

快手筛选了大约300B高质量数据预训练数据,这与其他大模型动辄以“T(万亿)”计算的训练数据差异很大。快手称,希望以有限计算资源高效构建模型的核心感知基础,确保视觉理解能力扎实且计算成本可控。

Keye-VL-671B-A37B的预训练分三步走:

第一阶段:冻结ViT和LLM,只训练随机初始化的Projector,保证视觉、语言特征能初步做对齐。

第二阶段:打开全部参数进行预训练。

第三阶段:在更高质量的数据上做退火训练,提升模型的细粒度感知能力。

Keye的多模态预训练数据是通过一套自动化的数据管线来构建的。快手对数据做了严格过滤、重采样,并加入VQA数据增强,让数据能覆盖像OCR、图表、表格这些常见且复杂的视觉格式,提升模型的感知质量和泛化能力。

在退火阶段,快手加入了DeepSeek-V3-Terminus生成的思维链数据,让模型在继续强化视觉感知的同时,不会丢掉原本强大的推理能力。

二、采用多阶段后训练策略,验证混合CoT数据效果更好

Keye-VL-671B-A37B的后训练由监督微调(SFT)、冷启动和强化学习三个步骤组成,训练任务涵盖视觉问答、图表理解、富文本OCR、数学、代码、逻辑推理等。

在SFT阶段,Keye-VL-671B-A37B技术团队使用了更多的多模态和纯文本长思维链数据,对模型的纯文本能力进行回火并增强多模态能力。在冷启动阶段,采用推理数据增强模型的推理能力,在强化学习阶段,采用复杂推理数据提升模型的think和no_think(思考与非思考)能力,并加入视频数据,增强模型的视频理解能力。

Keye-VL-671B-A37B技术团队对数据集中指令(Instruct)数据和长思维链(Long-CoT)数据的配比进行反复实验,以突破此前监督微调范式片面依赖指令数据的局限性。

这一过程中,快手验证了混合模式(Instruct + Long-CoT)相对于单一模式(Instruct)的优越性,即在SFT数据集中加入更多长思维链推理数据,有利于提升模型整体性能,以及改善后续训练稳定性。

loss曲线显示,在SFT阶段加入更多的CoT数据可以显著降低冷启动阶段的训练loss。

在多个benchmark上的性能对比也表明,混合CoT数据训练的模型相比于指令微调的模型取得了明显的性能提升。

在冷启动阶段,CoT数据的质量对于提升模型的推理能力至关重要,而纯文本模型的推理过程往往冗长而且存在大量重复,为了缓解过度思考的问题,Keye-VL-671B-A37B技术团队开发了严格的数据筛选流程,过滤掉存在冗余反思行为的思维链。

在Keye-VL-1.5-8B上的实验结果显示,过滤冗余数据对于模型的推理能力和感知能力均有增益。

三、强化学习采用Qwen3同款算法,并打造专用Verifier模型

强化学习阶段,快手没有使用传统的GRPO强化学习算法。GRPO是token-level(token层)的建模,在训练MoE模型时存在不稳定性。

在Keye-VL-671B-A37B的训练中,快手采用GSPO(Group Sequence Policy Optimization)作为底层强化学习算法,进行sequence-level(序列层)的建模,提升可验证奖励强化学习(RLVR)训练的稳定性。值得注意的是,该算法是阿里Qwen3系列模型的核心算法之一。

对于强化学习而言,奖励信号的质量至关重要。在Keye-VL-671B-A37B的强化学习系统中,快手首先训练了专门的Verifier(验证器),用于验证模型输出思考过程的逻辑性,以及最终答案与标准答案的一致性,Verifier模型采用Keye-VL-1.5 8B作为基座,训练过程包括SFT和RL两个阶段。

在SFT阶段,既有简单的二分类任务,即直接判断生成的答案是否与参考答案一致,也有更复杂的分析任务,需要Verifier模型采用think-answer的格式分析模型生成的回复的逻辑性和正确性。

在RL阶段,技术团队首先在大规模偏好数据上训练,然后利用人工标注的高质量数据集进行退火,提高Verifier模型的精度。

为了考察Verifier模型对于生成结果的检测精度,技术团队抽取了10000条训练数据以及模型生成的答案,对比Verifier模型和Qwen-2.5-VL 72B Instruct模型的检测精度,在人工抽样的150条Keye-Verifier与Qwen判别结果不一致的数据中,Keye正确的数目达到了128条,Qwen占22条。

基于Keye-VL-preview的预实验显示,Keye-Verifier提供的奖励信号,相对于基于规则匹配的奖励信号,使Keye-VL-preview在多个开源感知benchmark上的平均准确率提升了1.45%,在三个多模态数学数据集上的平均准确率提升了1.33%。

为了筛选高难度样本,快手利用Keye-VL-1.5-8B作为过滤器,在候选数据集上采样并用Verifier模型计算准确率,仅保留正确率在25%~75%之间的数据用于训练。在RL数据集中,快手加入了更多视频数据以提升模型的视频理解能力。

结语:多模态模型,迈向会“办事儿”的未来

快手称,未来,Keye-VL系列模型将在提升基础模型能力的同时,进一步融合多模态Agent能力,走向更“会用工具、能解复杂问题”的形态。模型的多轮工具调用能力会得到增强,让它能够在真实任务中自主调用外部工具,完成搜索、推理、整合。

同时,快手也会推进“think with image”、“think with video”等关键方向,使模型不仅能看懂图像与视频,还能围绕它们进行深度思考与链式推理,在复杂的视觉信号中发掘关键信息。最终,快手希望打造出更通用、更可靠、更强推理的下一代多模态系统。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
宋美龄活到106岁,身边佣人晚年才说出实情:她从不靠那些进补的东西,真正起作用的是大家都忽视的小事

宋美龄活到106岁,身边佣人晚年才说出实情:她从不靠那些进补的东西,真正起作用的是大家都忽视的小事

磊子讲史
2026-11-19 18:11:34
北京的第一批大龄未婚女性,已经搬进了养老院

北京的第一批大龄未婚女性,已经搬进了养老院

小怪吃美食
2026-11-21 10:55:17
她是央视主持,剑桥学霸,精通英文播报,38岁气质出众至今未婚

她是央视主持,剑桥学霸,精通英文播报,38岁气质出众至今未婚

一娱三分地
2026-11-21 00:10:03
10人获评“湖北工匠”,每人奖励50万元

10人获评“湖北工匠”,每人奖励50万元

阿天爱旅行
2026-11-21 05:59:29
内线巨兽!NBA开赛至今,表现最好的5位中锋,约基奇虽下滑仍上榜,文班领衔

内线巨兽!NBA开赛至今,表现最好的5位中锋,约基奇虽下滑仍上榜,文班领衔

篮球圈里的那些事
2026-11-21 22:53:49
WTT高层大洗牌,男单全年无冠之际,樊振东回归国乒或有望迎转机

WTT高层大洗牌,男单全年无冠之际,樊振东回归国乒或有望迎转机

云上乌托邦
2026-11-21 22:30:04
19岁的摩洛哥公主,五官脸型无可挑剔,但也和妈妈的绝世神颜差远了

19岁的摩洛哥公主,五官脸型无可挑剔,但也和妈妈的绝世神颜差远了

照见古今
2026-11-20 15:36:56
高市早苗在东盟峰会和APEC会场上当众挤眉弄眼、吐舌头!被日本网友痛批:“请向其他领导人道歉”

高市早苗在东盟峰会和APEC会场上当众挤眉弄眼、吐舌头!被日本网友痛批:“请向其他领导人道歉”

闪电新闻
2026-11-21 21:17:55
于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

于月仙车祸去世5年,丈夫张学松披露关键细节:同车4人只她没回来,骆驼整个砸在车顶

唠叨说历史
2026-11-16 15:37:18
外卖员凌晨给殡仪馆女子送烧烤,火化工狂喊:她一小时前就被火化了

外卖员凌晨给殡仪馆女子送烧烤,火化工狂喊:她一小时前就被火化了

古怪奇谈录
2025-08-15 16:26:18
随着广东男篮12分惨败香港金牛,本场比赛带来4个不争的事实,徐杰真的独木难支!

随着广东男篮12分惨败香港金牛,本场比赛带来4个不争的事实,徐杰真的独木难支!

凯丰侃球
2026-11-21 21:58:52
北京100万剩女的尴尬现实:想回老家,却舍不得6年打拼的一切

北京100万剩女的尴尬现实:想回老家,却舍不得6年打拼的一切

荷兰豆爱健康
2026-11-21 15:48:47
看了个日本 AV 女演员的出身…

看了个日本 AV 女演员的出身…

说点事
2026-11-19 16:49:55
抓紧晾晒!下周广东雨水冷空气又上线

抓紧晾晒!下周广东雨水冷空气又上线

广东发布
2026-11-21 17:14:17
“囤了5车好想来赵一鸣”的宝妈,看懵27w人:过犹不及你懂不懂

“囤了5车好想来赵一鸣”的宝妈,看懵27w人:过犹不及你懂不懂

泽泽先生
2026-11-19 15:02:10
10年烧光700亿!当年被盒马判“死刑”,如今美团阿里为何疯抢?

10年烧光700亿!当年被盒马判“死刑”,如今美团阿里为何疯抢?

江启
2026-11-19 13:48:49
“老人味”祸根被揪出!医生提醒:60岁后要少碰,老了或也没味

“老人味”祸根被揪出!医生提醒:60岁后要少碰,老了或也没味

新时代的两性情感
2026-11-16 01:12:44
“我就这么该死吗”,高颜值母亲情绪崩溃,网友:允许孩子不爱你!

“我就这么该死吗”,高颜值母亲情绪崩溃,网友:允许孩子不爱你!

熙熙说教
2026-11-08 17:03:05
全网AI集体翻车!为什么它们死活画不对13个鸡蛋?

全网AI集体翻车!为什么它们死活画不对13个鸡蛋?

果壳
2026-11-19 22:37:33
“荔枝冰酒”冲上热搜!一天4000瓶一抢而空,网店营业额暴增900多倍;一瓶果酒凭什么成了APEC的“顶流”?

“荔枝冰酒”冲上热搜!一天4000瓶一抢而空,网店营业额暴增900多倍;一瓶果酒凭什么成了APEC的“顶流”?

农民日报
2026-11-21 15:35:25
2026-11-21 23:39:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12992文章数 117196关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
艺术
房产
旅游
公开课

教育要闻

民办高校登上全国就业会议发言席,这三个信号值得关注

艺术要闻

沙特地标双塔方案公布,JSWD击败ZHA、Aedas等获胜!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

旅游要闻

读城记|清晰与混沌:砣矶岛海石上的宇宙密码

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版