网易首页 > 网易号 > 正文 申请入驻

梁文锋署名,DeepSeek元旦新论文要开启架构新篇章

0
分享至

机器之心编辑部

新年第一天,DeepSeek 发布了一篇新论文,提出了一种名为mHC(流形约束超连接)的新架构。

该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题,同时保持其显著的性能增益 。

简单来说,DeepSeek 提出的 mHC 通过将传统 Transformer 的单一残差流扩展为多流并行架构,并利用 Sinkhorn-Knopp 算法将连接矩阵约束在双拟随机矩阵流形上,成功解决了超连接(HC)在大规模训练中因破坏恒等映射属性而导致的数值不稳定和信号爆炸问题。

  • 论文标题:mHC: Manifold-Constrained Hyper-Connections
  • 论文地址:https://arxiv.org/pdf/2512.24880

这篇论文的第一作者有三位:Zhenda Xie(解振达)、Yixuan Wei(韦毅轩)、Huanqi Cao。值得注意的是,DeepSeek 创始人 & CEO 梁文锋也在作者名单中。

传统的残差连接(即 Transformer 中的 x + F (x) 结构)凭借「恒等映射」保证了信号无损传输和训练稳定性。但它的瓶颈在于信息通道的宽度受限于隐藏层维度 C。

近期,以字节跳动Seed团队提出的 Hyper-Connections (HC) 为代表的研究,通过扩展残差流宽度和多样化连接模式,拓展了过去十年中广泛应用的残差连接范式。

虽然这些方法带来了显著的性能提升,但但也带来了两个严重问题:

  • 数值不稳定性: 原始的 HC 中,连接矩阵是自由学习的,没有约束。这导致信号在经过多层传播后,数值会「爆炸」或「消失」,破坏了恒等映射的特性,模型越深越难训练。
  • 系统开销大: 通道变宽意味着显存读写 (I/O) 和通信成本成倍增加,也就是所谓的「显存墙」问题。

从根本上破坏了残差连接固有的恒等映射属性,导致了严重的训练不稳定性和受限的可扩展性,并额外增加了显著的内存访问开销。

为了解决这些挑战,DeepSeek 的研究团队提出了Manifold-Constrained Hyper-Connections (mHC,流形约束超连接)。

这是一个通用框架,它将 HC 的残差连接空间投影到一个特定的流形上,以恢复恒等映射属性,同时结合严格的基础设施优化以确保效率。

它的核心目的是:在保留「加宽残差流」带来的性能提升的同时,解决其导致的训练不稳定和显存消耗过大的问题。

团队利用Sinkhorn-Knopp 算法将残差连接矩阵投影到 Birkhoff 多胞形(双随机矩阵)上。这使得信号传播变为特征的「凸组合」,从数学上严格保证了信号范数的稳定性(能量守恒)。为了抵消加宽通道带来的开销,团队实施了内核融合、选择性重计算以及扩展的 DualPipe 通信计算重叠策略。

实证表明,mHC 不仅解决了稳定性问题,且在大规模训练中(如 27B 模型)表现出卓越的可扩展性。在 n=4 的扩展倍率下,仅增加了 6.7% 的训练时间开销,却换来了显著的性能提升。mHC 为基础模型的拓扑架构演进指明了方向。

图 1:残差连接范式示意图。 本图对比了以下三种结构设计: (a) 标准残差连接(Residual Connection); (b) Hyper-Connections (HC); (c) 我们提出的 Manifold-Constrained Hyper-Connections (mHC)。与无约束的 HC 不同,mHC 专注于优化残差连接空间,通过将矩阵投影到受约束的流形上,以确保稳定性。

具体方法介绍

流形约束超连接 (mHC)

借鉴恒等映射(Identity Mapping)原则,mHC 的核心前提是将残差映射

虽然原始的恒等映射是通过强制执行

因此,该 DeepSeek 团队提出将残差映射投影到一个流形上,既能保持跨层信号传播的稳定性,又能促进残差流之间的相互作用,以保持模型的表达能力(expressivity)。

为此,他们的做法是将

形式上,令

其中 1_n 表示全 1 的 n 维向量。

为什么选择双拟随机性?因为其具有多项有利于大规模训练的理论属性:

  • ),这意味着学习到的映射是非扩张的,可有效缓解梯度爆炸问题。
  • 范数保持:其谱范数有界且不超过 1(即

  • 复合封闭性:双拟随机矩阵集对矩阵乘法具有封闭性,确保了跨多层的复合残差映射仍保持双拟随机,从而可在整个模型深度上维持稳定性。
  • 几何解释:该集合构成了 Birkhoff 多胞形,是排列矩阵集的凸包。这意味着残差映射充当了排列的凸组合,其重复应用会单调地增加跨流的信息混合,起到鲁棒的特征融合作用。

此外,该团队还对输入映射

参数化与流形投影

本节将详述 mHC 中各映射的计算过程。

给定第 l 层的输入隐藏矩阵 x_l,先将其展平为向量

最终的约束映射通过以下方式获得:

其中

DeepSeek 在实验中采用 t_max=20 次迭代。

高效基础设施设计

DeepSeek 还为 mHC 量身定制了基础设施设计,使其在 n=4 时在大模型中的训练开销仅增加 6.7%:

算子融合 (Kernel Fusion):

重新调整 RMSNorm 的顺序以提高效率,并采用混合精度策略。

开发了统一的算子,将多次扫描和矩阵乘法融合,减少内存带宽瓶颈和算子启动开销。

在单个算子中实现 Sinkhorn-Knopp 迭代及其自定义反向传播。

重计算 (Recomputing):

为了减轻 n 流设计带来的内存压力,DeepSeek 在前向传播后丢弃 mHC 算子的中间激活,并在反向传播时即时重新计算。

通过推导得出最优重计算块大小 L_r^*,以最小化总内存占用。

DualPipe 中的通信重叠:

扩展了 DualPipe 调度算法,以改善流水线并行阶段边界处的通信与计算重叠在专用高优先级计算流上执行 MLP 层的内核,并避免在注意力层使用持久算子,以防止阻塞通信流并提高设备利用率。

实验

实验设置

研究团队通过语言模型预训练来验证所提方法的有效性,并对基线模型、超连接(HC)以及提出的流形约束超连接(mHC)进行了对比分析。

他们采用了受 DeepSeek-V3 启发的 MoE 架构,训练了四种不同的模型变体,以覆盖不同的评估体系。

具体而言,HC 和 mHC 的扩展率 n 均设置为 4,主要关注点是一个 27B 参数规模的模型。其训练数据集的大小与其参数量成正比,该模型用于展示系统层面的主要结果。在此基础上,他们通过引入使用成比例数据训练的较小的 3B 和 9B 模型来分析计算扩展性,从而观察不同计算规模下的性能趋势。此外,为了专门研究 Token 规模的影响,他们另外训练了一个独立的 3B 模型,该模型在一个固定的 1T Token 的语料库上进行训练。

主要结果

图 5:流形约束超连接 (mHC) 的训练稳定性。 该图展示了:(a) mHC 和 HC 相对于基线模型的训练损失绝对差值;(b) 三种方法在训练过程中的梯度范数。所有实验均基于 27B 参数规模的模型。实验结果表明,mHC 在损失函数和梯度范数两方面均表现出更优的稳定性。

研究团队首先考察 27B 模型的训练稳定性和收敛性。如图 5 (a) 所示,mHC 有效缓解了在 HC 中观察到的训练不稳定问题,与基线模型相比,最终损失降低了 0.021。图 5 (b) 中的梯度范数分析进一步证实了这种稳定性的提升:mHC 表现出明显优于 HC 的行为,保持了与基线模型相当的稳定轮廓。

表 4:27B 模型在系统级基准测试上的结果。 本表对比了基线模型、HC 以及 mHC 在 8 个不同的下游基准测试中的零样本和少样本性能表现。结果显示,mHC 始终优于基线模型,并在大多数基准测试中超越了 HC,证明了其在大规模预训练中的有效性。

表 4 展示了在多种下游基准测试中的性能表现。mHC 带来了全面的提升,一致性地优于基线模型,并在大多数任务上超过了 HC。值得注意的是,与 HC 相比,mHC 进一步增强了模型的推理能力,在 BBH 和 DROP 任务上分别实现了 2.1% 和 2.3% 的性能增益。

规模扩展实验

图 6:mHC 与基线模型的扩展特性对比。 (a) 计算扩展曲线:实线描绘了在不同计算预算下的性能差距。每个点代表模型大小与数据集大小的最优计算配置,涵盖了从 3B、9B 到 27B 参数规模的规模扩展过程。 (b) Token 扩展曲线:展示了 3B 模型在训练过程中的轨迹。每个点代表模型在不同训练 Token 数量下的性能表现。

为了评估该方法的扩展性,研究者报告了在不同规模下 mHC 相对于基线模型的损失改善情况。在图 6 (a) 中,他们绘制了涵盖 3B、9B 和 27B 参数规模的计算规模扩展曲线。其轨迹表明,即使在更高的计算预算下,性能优势依然稳健地得以保持,仅表现出轻微的衰减。

此外,他们在图 6 (b) 中考察了训练过程中的动态变化,展示了 3B 模型的 Token 扩展曲线。总的来看,这些发现验证了 mHC 在大规模场景下的有效性。这一结论在他们内部的大规模训练实验中得到了进一步的证实。

更多详情请参阅原论文。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

环球网资讯
2026-11-14 07:45:05
泽连斯基:美国曾询问乌克兰是否愿意以顿巴斯地区换取加入北约的资格;乌克兰不愿从自己的领土上撤退,需要安全保障、强大军队和重建资金

泽连斯基:美国曾询问乌克兰是否愿意以顿巴斯地区换取加入北约的资格;乌克兰不愿从自己的领土上撤退,需要安全保障、强大军队和重建资金

极目新闻
2026-11-15 10:18:43
月薪五万是什么体验?

月薪五万是什么体验?

康富贵碎碎念
2026-11-16 13:15:52
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
泽连斯基:普京生活在另一个现实里!我不认为特朗普是“克拉斯诺夫”

泽连斯基:普京生活在另一个现实里!我不认为特朗普是“克拉斯诺夫”

鹰眼Defence
2026-11-15 17:13:26
河北滦南通报“800多万元建的污水处理厂4年未启用”:成立市县联合调查组

河北滦南通报“800多万元建的污水处理厂4年未启用”:成立市县联合调查组

界面新闻
2026-11-16 13:37:26
宏远速递!陈老板最新决定,又一强援将加盟,徐杰深夜发声!

宏远速递!陈老板最新决定,又一强援将加盟,徐杰深夜发声!

体坛卡卡说
2026-11-16 15:24:45
11月16日人民币对美元中间价调升11个基点

11月16日人民币对美元中间价调升11个基点

证券时报
2026-11-16 09:36:04
前国脚曝蓉城丢冠内幕:高层代替主帅定首发!3人被废,蒿俊闵上看台

前国脚曝蓉城丢冠内幕:高层代替主帅定首发!3人被废,蒿俊闵上看台

念洲
2026-11-16 09:38:40
太罕见了!日媒曝出2004年黄乐生活旧照,彼时二十多岁素颜随性,网友:典型的湖南乡下妹子

太罕见了!日媒曝出2004年黄乐生活旧照,彼时二十多岁素颜随性,网友:典型的湖南乡下妹子

火山詩话
2026-11-13 15:21:47
MVP概率已断崖第一!东契奇一战又造9纪录 8连胜场均41+9强到发紫

MVP概率已断崖第一!东契奇一战又造9纪录 8连胜场均41+9强到发紫

颜小白的篮球梦
2026-11-16 10:08:32
突发异动!000533,直线涨停!

突发异动!000533,直线涨停!

证券时报
2026-11-16 11:54:26
杨瀚森取消开拓者认证!离队或进入倒计时,这八天到底发生了什么

杨瀚森取消开拓者认证!离队或进入倒计时,这八天到底发生了什么

大鱼简科
2026-11-16 14:21:58
穆帅的眼光太准!皇马球迷正在认知到穆帅早已知道的一点:库库雷利亚名气不耀眼,防守很硬核,能给皇马左路带来底气!

穆帅的眼光太准!皇马球迷正在认知到穆帅早已知道的一点:库库雷利亚名气不耀眼,防守很硬核,能给皇马左路带来底气!

福酱的小时光
2026-11-16 07:46:41
一场2-3,让世界第1轰然倒下:43场不败纪录终结,凯恩点射破门

一场2-3,让世界第1轰然倒下:43场不败纪录终结,凯恩点射破门

足球狗说
2026-11-16 05:58:08
“家长没钱,孩子才会沉迷手机”,一段高尔夫视频让人沉默了,中产晒孩子打高尔夫暗讽“沉迷手机是因为穷”

“家长没钱,孩子才会沉迷手机”,一段高尔夫视频让人沉默了,中产晒孩子打高尔夫暗讽“沉迷手机是因为穷”

蝴蝶花雨话教育
2026-11-14 00:05:16
陈百祥回应谭咏麟蟹宴没请他:我吃蟹的时候也没叫他

陈百祥回应谭咏麟蟹宴没请他:我吃蟹的时候也没叫他

情感大头说说
2026-11-16 02:53:25
69岁赵本山进录音棚,把AI替他唱的歌亲自唱了一遍!3小时点赞破百万,网友:这一嗓子仿佛又回到小时候

69岁赵本山进录音棚,把AI替他唱的歌亲自唱了一遍!3小时点赞破百万,网友:这一嗓子仿佛又回到小时候

都市快报橙柿互动
2026-11-15 21:11:29
热4连胜:因为维金斯替补了?

热4连胜:因为维金斯替补了?

张佳玮写字的地方
2026-11-15 17:36:21
中纪委打“虎”,王忠林被查!上周三“虎”被公诉

中纪委打“虎”,王忠林被查!上周三“虎”被公诉

上观新闻
2026-11-16 13:16:44
2026-11-16 16:31:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14486文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

日产终于开窍了!全新NV200 PHEV才是露营党的梦中情车?

态度原创

时尚
家居
健康
数码
本地

秋天找到一些固定的穿衣公式,用针织衫搭配牛仔裤,减龄舒适

家居要闻

2026建博会(广州) 公装联探展交流活动

情绪真能让健康人"伤心至死"?

数码要闻

iQOO自带线数显移动电源20000 66W开售,首销优惠价229元

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版