网易首页 > 网易号 > 正文 申请入驻

国产最强多模态宝座又易主?671B参数练就“火眼金睛”,基于DeepSeek打造

0
分享至

智东西11月28日报道,刚刚,快手开源其新一代旗舰多模态大模型Keye-VL-671B-A37B。该模型基于DeepSeek-V3-Terminus打造,拥有6710亿个参数,在保持基础模型通用能力的前提下,对视觉感知、跨模态对齐与复杂推理链路进行了升级,实现了较强的多模态理解和复杂推理能力。

Keye-VL-671B-A37B有多强?我们先用几个案例来感受下。下面的图中有几张电影票?多数人看完第一眼可能会脱口而出:“三张。”

不过,Keye-VL-671B-A37B的观察更为仔细,结合票据上的文字,它能判断出其实图中仅有两张电影票,最上面那一张是爆米花小吃券。查看思考过程后,可发现它不仅准确识别画面中每张票据的文字、标识和版式差异,更能进一步推理:左边和中间的票据符合电影票的核心特征,右侧票据无座位信息、无影片场次标注,实为叠放的食品兑换券,并非电影票。

除了图像理解能力以外,Keye-VL-671B-A37B同样拥有强大的视频理解和推理能力。当被问及下方视频的镜头是怎样变化时,它能识别出“蓝色双层电车”、“Louis Vuitton”、“Tiffany & Co”等核心元素,并输出镜头变化的细节。

快手公布了Keye-VL-671B-A37B与其他VL模型的性能对比。在通用视觉理解和视频理解两大核心领域,Keye-VL-671B-A37B的整体表现超过了字节的Seed1.5-VL think、阿里的Qwen3-VL 235B-A22B等前沿VL模型。

在涵盖STEM、推理、通用问答、视频理解、OCR和纯文本等能力的26项主流基准测试上,Keye-VL-671B-A37B斩获18项最高得分。

目前,Keye-VL-671B-A37B已经正式开源,可在Hugging Face和GitHub下载体验。

Github:

https://github.com/Kwai-Keye/Keye

HuggingFace:

https://huggingface.co/Kwai-Keye/Keye-VL-671B-A37B

一、三阶段完成预训练,仅使用300B高质量数据

Keye-VL-671B-A37B采用DeepSeek-V3-Terminus作为大语言模型基座初始化,具备更强的文本推理能力,视觉模型采Keye-ViT初始化,这一组件来自Keye-VL-1.5,二者通过MLP层进行桥接。Keye-VL-1.5是快手今年9月初开源的一款多模态大模型,拥有80亿个参数,支持128k tokens扩展上下文。

Keye-VL-671B-A37B的预训练涵盖三个阶段,以系统化构建模型的多模态理解与推理能力。模型复用Keye-VL-1.5的视觉编码器,该编码器已经通过8B大小的模型在1T token的多模态预训练数据上对齐,具备较强的基础感知能力。

快手筛选了大约300B高质量数据预训练数据,这与其他大模型动辄以“T(万亿)”计算的训练数据差异很大。快手称,希望以有限计算资源高效构建模型的核心感知基础,确保视觉理解能力扎实且计算成本可控。

Keye-VL-671B-A37B的预训练分三步走:

第一阶段:冻结ViT和LLM,只训练随机初始化的Projector,保证视觉、语言特征能初步做对齐。

第二阶段:打开全部参数进行预训练。

第三阶段:在更高质量的数据上做退火训练,提升模型的细粒度感知能力。

Keye的多模态预训练数据是通过一套自动化的数据管线来构建的。快手对数据做了严格过滤、重采样,并加入VQA数据增强,让数据能覆盖像OCR、图表、表格这些常见且复杂的视觉格式,提升模型的感知质量和泛化能力。

在退火阶段,快手加入了DeepSeek-V3-Terminus生成的思维链数据,让模型在继续强化视觉感知的同时,不会丢掉原本强大的推理能力。

二、采用多阶段后训练策略,验证混合CoT数据效果更好

Keye-VL-671B-A37B的后训练由监督微调(SFT)、冷启动和强化学习三个步骤组成,训练任务涵盖视觉问答、图表理解、富文本OCR、数学、代码、逻辑推理等。

在SFT阶段,Keye-VL-671B-A37B技术团队使用了更多的多模态和纯文本长思维链数据,对模型的纯文本能力进行回火并增强多模态能力。在冷启动阶段,采用推理数据增强模型的推理能力,在强化学习阶段,采用复杂推理数据提升模型的think和no_think(思考与非思考)能力,并加入视频数据,增强模型的视频理解能力。

Keye-VL-671B-A37B技术团队对数据集中指令(Instruct)数据和长思维链(Long-CoT)数据的配比进行反复实验,以突破此前监督微调范式片面依赖指令数据的局限性。

这一过程中,快手验证了混合模式(Instruct + Long-CoT)相对于单一模式(Instruct)的优越性,即在SFT数据集中加入更多长思维链推理数据,有利于提升模型整体性能,以及改善后续训练稳定性。

loss曲线显示,在SFT阶段加入更多的CoT数据可以显著降低冷启动阶段的训练loss。

在多个benchmark上的性能对比也表明,混合CoT数据训练的模型相比于指令微调的模型取得了明显的性能提升。

在冷启动阶段,CoT数据的质量对于提升模型的推理能力至关重要,而纯文本模型的推理过程往往冗长而且存在大量重复,为了缓解过度思考的问题,Keye-VL-671B-A37B技术团队开发了严格的数据筛选流程,过滤掉存在冗余反思行为的思维链。

在Keye-VL-1.5-8B上的实验结果显示,过滤冗余数据对于模型的推理能力和感知能力均有增益。

三、强化学习采用Qwen3同款算法,并打造专用Verifier模型

强化学习阶段,快手没有使用传统的GRPO强化学习算法。GRPO是token-level(token层)的建模,在训练MoE模型时存在不稳定性。

在Keye-VL-671B-A37B的训练中,快手采用GSPO(Group Sequence Policy Optimization)作为底层强化学习算法,进行sequence-level(序列层)的建模,提升可验证奖励强化学习(RLVR)训练的稳定性。值得注意的是,该算法是阿里Qwen3系列模型的核心算法之一。

对于强化学习而言,奖励信号的质量至关重要。在Keye-VL-671B-A37B的强化学习系统中,快手首先训练了专门的Verifier(验证器),用于验证模型输出思考过程的逻辑性,以及最终答案与标准答案的一致性,Verifier模型采用Keye-VL-1.5 8B作为基座,训练过程包括SFT和RL两个阶段。

在SFT阶段,既有简单的二分类任务,即直接判断生成的答案是否与参考答案一致,也有更复杂的分析任务,需要Verifier模型采用think-answer的格式分析模型生成的回复的逻辑性和正确性。

在RL阶段,技术团队首先在大规模偏好数据上训练,然后利用人工标注的高质量数据集进行退火,提高Verifier模型的精度。

为了考察Verifier模型对于生成结果的检测精度,技术团队抽取了10000条训练数据以及模型生成的答案,对比Verifier模型和Qwen-2.5-VL 72B Instruct模型的检测精度,在人工抽样的150条Keye-Verifier与Qwen判别结果不一致的数据中,Keye正确的数目达到了128条,Qwen占22条。

基于Keye-VL-preview的预实验显示,Keye-Verifier提供的奖励信号,相对于基于规则匹配的奖励信号,使Keye-VL-preview在多个开源感知benchmark上的平均准确率提升了1.45%,在三个多模态数学数据集上的平均准确率提升了1.33%。

为了筛选高难度样本,快手利用Keye-VL-1.5-8B作为过滤器,在候选数据集上采样并用Verifier模型计算准确率,仅保留正确率在25%~75%之间的数据用于训练。在RL数据集中,快手加入了更多视频数据以提升模型的视频理解能力。

结语:多模态模型,迈向会“办事儿”的未来

快手称,未来,Keye-VL系列模型将在提升基础模型能力的同时,进一步融合多模态Agent能力,走向更“会用工具、能解复杂问题”的形态。模型的多轮工具调用能力会得到增强,让它能够在真实任务中自主调用外部工具,完成搜索、推理、整合。

同时,快手也会推进“think with image”、“think with video”等关键方向,使模型不仅能看懂图像与视频,还能围绕它们进行深度思考与链式推理,在复杂的视觉信号中发掘关键信息。最终,快手希望打造出更通用、更可靠、更强推理的下一代多模态系统。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
他们连李子柒都开始污名了

他们连李子柒都开始污名了

人格志
2026-11-21 23:58:10
随着科莫2-0,拉齐奥3-0,意甲最新积分榜出炉

随着科莫2-0,拉齐奥3-0,意甲最新积分榜出炉

侧身凌空斩
2026-11-21 23:59:32
今夜,AI科技还在暴跌

今夜,AI科技还在暴跌

中国基金报
2026-11-21 01:24:04
王晶曾坦白陈百强自杀原因,真相瞠目结舌,原来我们都被骗了

王晶曾坦白陈百强自杀原因,真相瞠目结舌,原来我们都被骗了

琴琴有氧运动
2026-11-21 23:44:35
高市早苗在APEC会议期间就有关台湾问题表态,钧正平:若日方如表态所言恪守《中日联合声明》,就该拿出实实在在的诚意,公开收回错误言论

高市早苗在APEC会议期间就有关台湾问题表态,钧正平:若日方如表态所言恪守《中日联合声明》,就该拿出实实在在的诚意,公开收回错误言论

都市快报橙柿互动
2026-11-21 09:26:12
大爆冷!广东轰然出局!单节崩盘仅8分,全队就1人能打,真没人了

大爆冷!广东轰然出局!单节崩盘仅8分,全队就1人能打,真没人了

吴蛛旅行ing
2026-11-21 22:45:21
“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

政知新媒体
2026-11-21 09:48:46
就在今天,东契奇带队联盟第一,又达成80年NBA历史第一纪录

就在今天,东契奇带队联盟第一,又达成80年NBA历史第一纪录

大西体育
2026-11-21 14:50:22
不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

一曲一场談
2026-11-21 11:59:52
中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

职场资深秘书
2026-11-21 12:48:52
上海无缘CBA杯16强创最大冷门!拉塞尔三战45投16中硬解能力拉胯

上海无缘CBA杯16强创最大冷门!拉塞尔三战45投16中硬解能力拉胯

狼叔评论
2026-11-21 23:36:07
皇马VS塞尔塔:法国双星坐镇中场,贝林+居莱尔领衔,姆皇冲锋

皇马VS塞尔塔:法国双星坐镇中场,贝林+居莱尔领衔,姆皇冲锋

零度眼看球
2026-11-21 07:07:04
曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

人生录
2026-11-19 08:08:31
CBA最新消息!上海男篮或裁掉拉塞尔,浙江广厦留用威尔斯

CBA最新消息!上海男篮或裁掉拉塞尔,浙江广厦留用威尔斯

体坛瞎白话
2026-11-21 11:08:02
《GTA 6》主角能全裸吗?IGN实测给出答案

《GTA 6》主角能全裸吗?IGN实测给出答案

游民星空
2026-11-21 08:29:25
牛市的启动和终结

牛市的启动和终结

谭谈投研
2026-11-21 23:30:48
终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

混沌录
2026-11-20 10:25:16
2019年张扣扣被执行死刑当天,记者采访王家仅剩的二儿子王富军,他说出心里话,让在场所有人瞬间沉默!

2019年张扣扣被执行死刑当天,记者采访王家仅剩的二儿子王富军,他说出心里话,让在场所有人瞬间沉默!

磊子讲史
2026-11-21 19:13:40
河北三兄弟,200块起家,干成了全球第一

河北三兄弟,200块起家,干成了全球第一

蒋东文
2026-11-20 22:15:05
这种茶已被列为2A类致癌物,喝茶的人注意了

这种茶已被列为2A类致癌物,喝茶的人注意了

乔志峰
2026-11-19 14:57:43
2026-11-22 00:32:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12992文章数 117196关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

游戏
健康
家居
房产
数码

PC Gamer试玩GTA6百小时:双主角出色但任务重复

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

无障碍浏览 进入关怀版