网易首页 > 网易号 > 正文 申请入驻

Kimi K3开源之后,顶尖模型开源迎来可能性

0
分享至

界面新闻记者 | 伍洋宇
界面新闻编辑 | 文姝琪

Kimi K3开源后,业界迎来首个完整开放权重的3T级别模型,也即目前全球参数规模最大的开源模型。

过去三年,在全球AI大模型领域发生的一个重要转变,是中国模型厂商相比美国更大程度占据了开源社区生态的优势地位。

K3继续放大了这一效应。Kimi在官方介绍中表示,虽然K3整体表现仍落后于最强的闭源模型Claude Fable 5和GPT-5.6 Sol,但在其整套评测中展现出前沿水平的能力,并稳定超过了其他所有模型。

相比Kimi K2,K3的总参数量增长了167%,激活参数增长220%,上下文长度则由128K扩展至1M,提升了8倍。理论上来说,其计算复杂度将按照平方数级别增长。

K3之所以能把参数量堆到2.8万亿,并实现2.5倍的扩展效率(相同计算量下更高的模型能力)提升,核心在于其对传统 Transformer架构进行了KDA(Kimi Delta Attention/混合线性注意力机制)和Attention Residuals(注意力残差)两项底层优化。

前者能把不断增长的KV Cache(缓存) 压进固定大小矩阵状态,后者能够有效减少模型训练中的信息衰减和梯度消失问题,保持信息流的顺畅。

同时,K3利用Stable LatentMoE(稳定隐空间混合专家系统)、MoonEP(底层通信库)、FlashKDA(高性能计算算子)等技术,对推理计算成本、通信能力以及计算效率等方面均进行了大幅优化。

登陆Hugging Face之后,K3在30分钟内以超过4000个赞登顶趋势榜。Hugging Face CEO Clem Delangue发文称,这是迄今为止最快的发布增长速度。

OpenAI总裁格雷格·布罗克曼(Greg Brockman)在近期一次受访中谈及K3,称这是一款毋庸置疑具有竞争力的新AI模型,并根据相关评估透露,中国在模型开发方面与美国的差距可能仅剩4个月左右。

此外,马斯克也曾公开称赞K3架构底层的《Attention Residuals》论文研究“令人印象深刻(impressive)”。

除了开源本身带来的影响力,一名AI大模型研发者对界面新闻记者表示,K3开源更直接的冲击在于商业层面,结合更低的价格与逐渐缩小的模型差距,中国开源模型从根本上影响了OpenAI和Anthropic等闭源模型厂商对API定价权的主导,这背后涉及大量潜在商业利益。

在K3出现之前,另个轰动一时的闭源模型为Anthropic的Fable 5。该模型并无官方公布的准确参数,但业界普遍猜测这是一个5T-10T级别的模型。

而Fable 5和K3的爆火,无一例外在不同程度上打消了业界此前存在已久的疑虑,即继续拉高模型参数是否还有意义?

前述研发人员对界面新闻记者表示,模型厂商要留在牌桌上,除了继续“Scaling Up”(扩大规模)几乎别无选择。“至少从目前来看,RL(强化学习)等后训练技巧主要作用还是‘雕花’,基座模型越好,后训练的起点才会越高。”

中国模型厂商已经在陆续跟进2T参数以上模型研发。阿里于7月19日发布了Qwen3.8 Max预览版,一款参数规模高达2.4万亿的多模态模型;7月初,有报道称MiniMax正在研发一款2.7万亿参数新一代大语言模型,内部称“M3 Pro”。

两款模型据悉都上线即开源。事实上,这已成为中国模型厂商扩大技术影响力的重要途径。

百度今年1月正式上线的文心5.0,在官方介绍中即为2.4T参数的模型,或是国内最早达成这一规模的厂商,但这款模型在国内外并未激起太大讨论声量。

一方面,该模型采用超稀疏混合专家架构,激活参数比例小于3%,也即70B左右。相比之下,K3激活参数约为104B。某种程度上,激活参数规模大小也会影响模型表现。

另一方面,尽管文心4.5在去年9月加入开源生态,但文心5.0仍是一款闭源模型,有行业人士指出,这是一种基础模型开源、旗舰模型闭源的协同路线,或是希望达成前者引流、后者转化的技术普惠与商业利益的平衡。

但中国模型的开源生态正逐渐强大,文心5.0的闭源意味着大量开发者无法自行部署,并通过观察研究其内部结构做出更多技术分析,一定程度上失去了来自极客群体的声量,而这对于模型当前的影响力已愈发重要。

对于更大规模参数模型的追赶,除了一系列软硬件层面的综合性挑战,摆在厂商面前更直观的困境在于算力的紧缺。

据行业人士分析,单从部署而言,K3便需要一台8卡B300服务器,训练则更需要顶级AI显卡的万卡级别集群。仅在上线第二日,Kimi便紧急发布了算力紧缺的提示并暂停了会员开放。

在这一点上,创业公司在大厂面前再次显现出劣势来。一名智算中心人士表示,目前其大部分算力已被头部大厂这样的大客户锁定,对于以Kimi为代表的创业公司而言,这意味着其购买能力是滞后的,即便遇到K3需求爆发这样的情形也难以及时补充。

另一家云厂商人士透露其客户构成,前两大客户分别为头部硬件大厂和互联网大厂,其他模型厂商合计月流水占比不及其中任意一家。并且,由于顶级显卡的稀缺性,云厂商也面临客户订单交付延迟的困境,其第一大客户的千台订单上半年仅交付10%。

即便如此,模型厂商推进更优模型并开源的目标,某种程度上也是紧迫的。

在Kimi K3开源几乎同一周,黄仁勋联合微软、Meta、IBM、英特尔等25家科技巨头发表公开信支持开源生态,OpenAI和谷歌随即补签加入。

或出于舆论与商业的双重压力,在技术封锁立场上向来坚定的Anthropic CEO Dario Amodei,也于近日公开发表声明称,Anthropic公司从未主张禁止开放权重模型。

在更多有分量的号召下,全球模型开源的局面愈发势不可挡。从技术普惠的角度来看这无疑是积极的,但对企业而言,从技术到成本,全员开源的局面只会让其在用户面前更加透明,届时突破与生存并不会比今天更加容易。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

粤睇先生
2026-11-20 00:15:36
知名乐队主唱张宇去世!年仅48岁,生前爱喝啤酒,刚发布新歌

知名乐队主唱张宇去世!年仅48岁,生前爱喝啤酒,刚发布新歌

可乐谈情感
2026-11-19 16:39:10
勒夫:18年世界杯我选择让诺伊尔当一门,告诉特狮时我很难受

勒夫:18年世界杯我选择让诺伊尔当一门,告诉特狮时我很难受

懂球帝
2026-11-19 14:15:06
“在北京三里屯被Lululemon门店员工尾随一个小时后,被要求翻包”,女子发帖质疑称太可怕;Lululemon致歉:涉事员工被终止服务

“在北京三里屯被Lululemon门店员工尾随一个小时后,被要求翻包”,女子发帖质疑称太可怕;Lululemon致歉:涉事员工被终止服务

南方都市报
2026-11-20 07:54:09
纪委重拳出击!15名央企领导被查,14家驻央企纪检可自办留置案!

纪委重拳出击!15名央企领导被查,14家驻央企纪检可自办留置案!

职场资深秘书
2026-11-19 16:17:48
台湾地区代表刚到深圳,第一时间就向大陆喊话,港媒点评一针见血

台湾地区代表刚到深圳,第一时间就向大陆喊话,港媒点评一针见血

古书奇谈
2026-11-19 12:21:48
高市早苗如此挑衅中国,离不开两名中国败类的影响和出谋划策!

高市早苗如此挑衅中国,离不开两名中国败类的影响和出谋划策!

阿胡
2025-12-26 13:24:43
我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

扶苏聊历史
2026-10-26 17:56:12
炸锅 !宁德时代报警抓理想!双方分手内幕全曝光!

炸锅 !宁德时代报警抓理想!双方分手内幕全曝光!

电动内参
2026-11-19 16:02:28
售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

邻居的小蜘蛛
2026-11-17 16:27:34
海王星补刀:乌军炸桥含金量创世界第一

海王星补刀:乌军炸桥含金量创世界第一

YY团长
2026-11-19 23:20:14
终于有人说了句实话,英语一旦退出主科,后果普通家庭承受不起

终于有人说了句实话,英语一旦退出主科,后果普通家庭承受不起

许三岁
2026-10-30 07:19:11
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
离谱!宝妈纠结了,半岁儿子对猫严重过敏,仍舍不得送走,网友怒斥:去子留猫

离谱!宝妈纠结了,半岁儿子对猫严重过敏,仍舍不得送走,网友怒斥:去子留猫

山月记闻
2026-11-20 09:42:57
刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

看尽落尘花q
2026-08-23 19:28:46
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
“快醒醒,不要命了!”深夜高速一辆疾驰小车,情侣双双睡着,副驾还依偎在司机怀里!直到交警来电才惊醒……

“快醒醒,不要命了!”深夜高速一辆疾驰小车,情侣双双睡着,副驾还依偎在司机怀里!直到交警来电才惊醒……

佛山电视小强热线
2026-11-19 22:03:46
1993年三峡建委成立,李鹏任主任,五位副主任分别是谁

1993年三峡建委成立,李鹏任主任,五位副主任分别是谁

老范谈史
2026-11-19 14:45:38
为什么说以张维迎为代表的一批所谓新自由主义经济学家本质上是资本、富豪和权贵的代言人呢?

为什么说以张维迎为代表的一批所谓新自由主义经济学家本质上是资本、富豪和权贵的代言人呢?

回京历史梦
2026-11-18 10:06:16
老黄事件后,美开始全面封堵追踪芯片、包括云算力出租,并建圈子

老黄事件后,美开始全面封堵追踪芯片、包括云算力出租,并建圈子

邵旭峰域
2026-11-18 13:40:14
2026-11-20 10:36:49
界面新闻 incentive-icons
界面新闻
只服务于独立思考的人群
1216937文章数 1342222关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
时尚
房产
艺术
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

6.6亿!海口卖地!

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版