网易首页 > 网易号 > 正文 申请入驻

难怪黄仁勋GTC请了杨植麟,读完Kimi新论文我懂了

0
分享至


这是苍何的第 511 篇原创!

Token,正在成为 AI 时代的水和电。

谁能用更少的算力压出更多的 token 效率,谁就能在这场军备竞赛里活得更久。

这也是为什么今年英伟达 GTC 大会的焦点,开始从"谁的卡更多"转向"谁用得更聪明"。

图片来自中国蓝新闻

这就不得不提刚在GTC上演讲的杨植麟了,因为他演讲的一个重要主题就是 Token 效率。

这可能也是老黄请他的原因。

杨植麟这次演讲的主题是《How We Scaled Kimi K2.5》,首次完整披露了 Kimi 下一代模型的技术路线图。他把 Kimi 的进化逻辑概括为三个维度:

  • Token 效率:用 MuonClip 优化器替代用了 11 年的 Adam,token 效率翻倍

  • 长上下文:Kimi Linear 架构在 128K-1M 上下文范围内,解码速度提升 5-6 倍

  • 智能体集群:引入 Orchestrator 编排器,让多个 Agent 并行协作

但真正让我注意到的,是他在演讲里提到的第三项底层创新:「Attention Residuals」。

因为就在 GTC 前两天,我看到 Kimi 刚发了这篇论文。而马斯克转发后直接说了句:「Impressive work from Kimi」。

Karpathy 看完也半开玩笑地说:我们是不是没把「Attention is All You Need」这句话理解透。

一篇改残差连接的论文,怎么就让这帮人集体激动了?我去读了下。

论文我也下载下来了,私信回复暗号即可获取:Attention_Residuals

主角我居然还挺熟——残差连接。

简单说下残差连接是什么。

2015 年 ResNet 提出了一个极其简单的操作:每一层的输出 = 上一层传下来的东西 + 这一层自己算出来的东西。就是一个加法。

这个加法让深层网络成为可能,也让后来的 Transformer 站稳了脚跟。从 2015 年到现在,几乎所有大模型都在用它,权重恒定为 1,所有层一视同仁。

问题在哪?

打个比方:一个学生上了 40 节课,期末复习的时候把所有笔记等量堆在一起看——不管哪门课跟考试相关,每门课都占同样的复习时间。

结果就是:

  • 早期学到的重要内容,传到深层已经被稀释得差不多了

  • 后面的层想产生影响,得"喊"得比前面所有层加起来还大声

  • 研究甚至发现,很多大模型里相当一部分层可以直接删掉,性能几乎不受影响

用了十年没人动,不是因为它完美,是因为"够用"让人失去了追问的动力。

DeepSeek 去年底发了篇论文(mHC),核心思路是:既然固定权重太死板,那就让权重变成可学习的,让模型自己决定怎么混合各层的信号。

DeepSeek 在残差连接基础上改进的 mHC(流形约束超连接) 架构,解决了 Hyper-Connections 的训练不稳定问题,同时保持表达能力,并在 3B/9B/27B 规模模型上验证了效果。

这个方向是对的,但有一个局限:权重训练完就固定了,不管输入是什么,每一层拿到的混合方式都一样。

Kimi 团队这篇论文问了一个更往下的问题:就算权重可以学,每一层拿到的依然是"混合过的状态"。它没有办法说"我要单独看第 3 层的输出"。

信息一旦被搅进累积状态,就找不回来了。

Kimi 的解法,来自一个很漂亮的类比。

把 Attention 旋转 90 度

Transformer 处理文本的时候,用注意力机制让每个词可以"回头看"前面所有的词,根据内容动态决定关注哪里。这是横向的——在序列维度上。

Kimi 团队在思考:那层与层之间,为什么不能做同样的事?

把注意力机制"旋转 90 度"——从序列维度转向深度维度。

改完之后,每一层拥有一个可学习的查询向量(query),用它对所有前序层的输出做 attention。哪些层对当前计算更重要,权重就更高;不相关的层,权重自动降低。

回到复习的比喻:现在这个学生有了一套智能系统:做每道题之前,系统根据题目内容自动从 40 节课的笔记里挑出最相关的几份重点看。

最关键的一点:这个权重是动态的。同一个模型,处理不同的输入,每一层对前序层的关注程度完全不同——实时决定,而非训练完就固定。

Ilya 说过,LSTM 旋转 90 度就是 ResNet。现在 Kimi 证明,Attention 也可以旋转 90 度。

效果:等效白赚 25% 算力

工程上,Kimi 把模型分成约 8 个 block,块内用传统残差,块间做 attention。推理延迟增加不到 2%,几乎免费。

在自家 48B 参数模型(Kimi Linear,3B 激活参数)上验证:

  • GPQA-Diamond(科学推理):+7.5 分

  • Math(数学):+3.6 分

  • HumanEval(代码):+3.1 分

同等算力下性能更好;反过来说,达到同等性能需要的训练预算减少约 20%。相当于不加机器、不加数据,只改信息流结构,白赚 25% 的算力效果。

这几年大模型的竞争,表面上是参数量、数据量、卡的数量在比拼。

但 GTC 的风向已经变了.

黄仁勋自己也清楚,光靠堆算力的时代正在见顶。

他需要在台上展示的,是"聪明地用算力"的人。

杨植麟带来的三项底层创新: MuonClip、Kimi Linear、Attention Residuals。

恰好都在回答同一个问题:

怎么用更少的资源做出更好的模型。

Adam 用了 11 年,Attention 用了 8 年,残差连接用了 10 年。

这些东西不是不能动,是大部分人默认了"不需要动"。

当所有人都在想怎么买更多的卡,有人在想怎么让每张卡的每个 token 都更值钱。

这才是黄仁勋真正想让世界看到的。

过去两年,从 DeepSeek 到 Kimi,中国大模型团队动手的位置越来越深。

从训练方法论到核心网络架构,再到最底层的信号传递结构。

大力出奇迹的故事讲了太久了。接下来的竞争,属于那些敢拆「地基」的人。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
比徐杰幸运!182cm后卫重回国家队,场均18.2分,1技能征服两教练

比徐杰幸运!182cm后卫重回国家队,场均18.2分,1技能征服两教练

体坛大事记
2026-11-21 11:43:12
你攒了多少分?深圳APEC纪念卡明起兑换,最高抵100元

你攒了多少分?深圳APEC纪念卡明起兑换,最高抵100元

王二哥老搞笑
2026-11-21 02:28:05
哈登爆砍51分赛后!队友教练啥反应?阿特金森感恩,新援彻底臣服

哈登爆砍51分赛后!队友教练啥反应?阿特金森感恩,新援彻底臣服

董说体育
2026-11-21 12:03:18
挺好的训练装,硬是穿出不协调的感觉!

挺好的训练装,硬是穿出不协调的感觉!

穿的像个人样
2026-10-15 07:52:49
惊天医疗反腐重案!3任院长全落马,一科室狂贪2500万,从严查办

惊天医疗反腐重案!3任院长全落马,一科室狂贪2500万,从严查办

职场资深秘书
2026-11-21 13:22:40
焚尸惨案:姐夫勾上小姨子,妹夫私通大姨子,最终1死2无期

焚尸惨案:姐夫勾上小姨子,妹夫私通大姨子,最终1死2无期

悬疑故事屋
2026-11-21 15:00:17
湖人106-104险胜国王 球员评价:3人优秀,4人及格,3人低迷

湖人106-104险胜国王 球员评价:3人优秀,4人及格,3人低迷

篮球资讯达人
2026-11-21 13:31:19
1982年,翻译唐健生做了一项震惊中外外交系统举动,他杀光大使馆的所有人,瞬间大使馆内血流成河

1982年,翻译唐健生做了一项震惊中外外交系统举动,他杀光大使馆的所有人,瞬间大使馆内血流成河

扶苏聊历史
2026-11-04 17:07:54
狂揽23亿违规收入、与死对头黄仁勋百亿联姻:扒开Anthropic万亿IPO的底牌

狂揽23亿违规收入、与死对头黄仁勋百亿联姻:扒开Anthropic万亿IPO的底牌

星海情报局
2026-11-21 00:22:30
20岁农村男子做尽坏事,只对六旬老太下手,被捕后道:还是老人好

20岁农村男子做尽坏事,只对六旬老太下手,被捕后道:还是老人好

林林故事揭秘
2025-04-27 15:27:28
故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

卡西莫多的故事
2025-02-21 17:17:06
普京:克里米亚大桥遭袭后 俄方不会再讨论海上停火

普京:克里米亚大桥遭袭后 俄方不会再讨论海上停火

财联社
2026-11-20 07:10:05
红果当下最火3部短剧,榜首一集就把人看住了

红果当下最火3部短剧,榜首一集就把人看住了

乡野小珥
2026-11-20 03:04:06
出线生死战!U17国足下轮死磕摩洛哥 对手:我们要夺得世界杯冠军

出线生死战!U17国足下轮死磕摩洛哥 对手:我们要夺得世界杯冠军

念洲
2026-11-21 13:11:51
坐在普京身边的美女副总理,大有来头。

坐在普京身边的美女副总理,大有来头。

迷彩人生
2026-11-20 08:43:41
北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

一刀故事
2025-05-14 13:32:29
悲剧接连发生!男子砍伤妻子和岳母被取保候审,轻伤二级鉴定当日他杀妻后自尽

悲剧接连发生!男子砍伤妻子和岳母被取保候审,轻伤二级鉴定当日他杀妻后自尽

大风新闻
2026-11-20 15:04:06
许晋亨与李嘉欣同框的画面,二人衣着考究

许晋亨与李嘉欣同框的画面,二人衣着考究

娱你同欢
2026-11-19 22:01:03
俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

古书奇谈
2026-11-18 15:15:03
割安全绳再迎噩耗!幕后黑手揪出,警方消防全介入,麻烦才刚开始

割安全绳再迎噩耗!幕后黑手揪出,警方消防全介入,麻烦才刚开始

李橑在北漂
2026-11-21 02:44:32
2026-11-21 16:00:49
苍何
苍何
前大厂工程师,努力分享AI干货知识
202文章数 178关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
亲子
数码
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版