网易首页 > 网易号 > 正文 申请入驻

DeepSeek开年炸场!梁文锋又发论文了,一如既往地强

0
分享至

智东西1月1日报道,昨日晚间,DeepSeek团队送出一份新年“贺礼”,正式发布新论文《Manifold-Constrained Hyper-Connections》,提出一种能稳定训练并提升大模型可扩展性的残差连接新方案。

DeepSeek创始人兼CEO梁文锋这次同样出现在了合著名单之中。

论文核心指出,尽管当前如Hyper-Connections(HC)这类连接结构能带来性能提升,但由于其结构复杂、缺乏约束,往往导致训练不稳定、信号失真甚至梯度爆炸等问题。

▲在27B模型中,HC的多层残差映射在反向传播中导致信号最大放大倍数逼近3000,存在梯度爆炸风险。

为此,DeepSeek提出了mHC(Manifold-Constrained Hyper-Connections)方案,将HC中的残差映射矩阵投影到双随机矩阵构成的“流形空间”,在保留拓扑表达力的同时,恢复原始残差连接的恒等映射性质。

▲DeepSeek提出的mHC结构通过流形投影重建了残差连接的稳定性。

实验证明,这一mHC方法在大规模训练中展现出显著稳定性,仅引入6.7%的训练时间开销,在多个下游任务中超越HC与Baseline模型。

▲在8个下游任务上,mHC全面超越HC,尤其在BBH(+2.1%)和DROP(+2.3%)上表现突出。

一、传统残差连接的升级难点:性能提升,但稳定性丧失

当前主流模型广泛采用Residual Connection架构,其核心优势在于具备“恒等映射”特性,可稳定信号传播、避免训练过程中信号衰减或放大。

但近年来如Hyper-Connections(HC)等结构,为提升表达能力引入更复杂的连接拓扑,将残差通道扩展至n倍宽度,并通过多个可学习映射矩阵对输入与输出特征进行重组。

然而,HC的自由形态也打破了恒等映射约束,导致训练中存在信号爆炸(最高放大至3000倍)或梯度异常的问题。

▲相较于mHC,传统Hyper-Connections在训练过程中出现显著的不稳定现象(上图),其残差连接在深层堆叠中更暴露出前向信号和反向梯度指数级放大问题(下图),成为大模型扩展的隐性障碍。

此外,HC还显著提高了GPU内存占用和通信带宽需求,限制了其在更大规模模型中的使用效率。

二、mHC关键机制:将残差映射投影到“流形”上恢复恒等映射

DeepSeek提出的mHC本质上是对HC的稳定性重构。

▲mHC将残差映射投影到双随机流形后,显著提升了前向信号与反向梯度传播的稳定性。

其核心在于:不再直接使用无约束的残差映射矩阵H_res,而是通过Sinkhorn-Knopp算法将其投影到“Birkhoff多面体”(即双随机矩阵流形)上。

这一投影操作使H_res具备以下三大性质:

1、所有行列和为1,具备能量守恒性,避免信号放大或衰减;

2、在矩阵乘法下闭合,即跨层传播仍保稳定性;

3、具备几何可解释性,是所有排列矩阵的凸组合,有利于特征信息融合。

论文中还提到,将输入/输出映射H_pre、H_post也做了正值约束,可进一步避免信号抵消现象。

▲mHC对应的残差映射矩阵更集中于1附近,反观HC则存在多个爆炸点。

三、实测效果:mHC显著提升训练稳定性与下游表现

此后,论文对比测试了Baseline、HC和mHC三种模型在27B参数规模下的训练表现与推理性能。实测结果表明,流形约束超连接(mHC)在大规模训练场景下显著优于传统超连接(HC)。

训练稳定性方面,对比传统残差、HC与mHC,HC训练中损失震荡发散,梯度爆炸;mHC损失平稳收敛,梯度稳定。

▲流形约束超连接(mHC)的训练稳定性

分析表明HC的复合映射增益高达3000(信息爆炸),而mHC控制在1.6,接近理想恒等映射,信号保真度高。

这说明,mHC通过双随机流形约束,有效抑制了多层堆叠中的信号放大与梯度爆炸问题,损失曲线平稳收敛,梯度范数保持稳定,解决了HC因数值不稳定导致的训练发散缺陷。

性能表现方面,27B模型在BBH(51.0 vs HC 48.9)、DROP(53.9 vs 51.6)、GSM8K、MATH、MMLU等任务显著优于HC与基线,取得显著增益,最高提升达2.3个百分点,验证了其在复杂推理与语义建模中的优势。

▲基准测试

可扩展性方面,3B-27B模型验证,mHC性能增益随规模扩大保持稳定甚至增强(如DROP提升从1.5→2.3),显示深层大模型中的信号保真需求更高,展现出良好的泛化能力与深层适配性。1T token训练下无过拟合,泛化能力增强。

▲(a) 计算扩展曲线;(b) token扩展曲线

系统效率方面,通过内核融合、重计算与通信重叠优化,mHC在扩展率n=4时仅引入6.7%的额外开销,通过内核融合(带宽提升22%)、重计算(内存降40%)及流水线优化(GPU利用率>90%),实现高效训练,工程可行性高。

结语:mHC或为下一代基础架构指明演进方向

作为HC范式的广义扩展,mHC为未来研究开辟了多个前景广阔的路径。

DeepSeek团队在结论中说,尽管本研究采用双随机矩阵确保稳定性,但该框架能容纳针对特定学习目标设计的多种流形约束探索。他们预计,对几何约束特性的进一步研究可能产生新颖方法,从而在可塑性与稳定性之间实现更优权衡。

此外,研究团队希望mHC能重新激发学界对宏观架构设计的兴趣。通过深化对拓扑结构如何影响优化与表征学习的理解,mHC或将有助于突破当前限制,并可能为下一代基础架构的演进指明新方向。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

小羽叨叨叨
2026-11-20 14:53:15
2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

北京作家编剧肥猪满圈
2026-11-18 17:23:20
1.9亿美元!梵高画作《盛开的栗树》创纪录

1.9亿美元!梵高画作《盛开的栗树》创纪录

澎湃新闻
2026-11-20 13:09:03
流体力学突破速度极限:天才工程师的反直觉设计

流体力学突破速度极限:天才工程师的反直觉设计

中国物理学会期刊网
2026-11-19 10:12:16
五婚五离,“毁”了半个娱圈美人的风流导演,如今69岁终跌落神坛

五婚五离,“毁”了半个娱圈美人的风流导演,如今69岁终跌落神坛

蜉蝣说
2026-11-12 08:43:14
“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

妍妍教育日记
2026-10-05 10:10:15
中产“相亲神器”,被这个中国小城干成白菜价

中产“相亲神器”,被这个中国小城干成白菜价

金错刀
2026-11-20 15:03:50
波西·杰克逊第三季开播前,第二季这些关键剧情还记得吗

波西·杰克逊第三季开播前,第二季这些关键剧情还记得吗

时光慢旅人
2026-11-20 08:01:40
许昕:本以为 36 岁儿女双全已够幸福,没想到,现在幸福又升级了

许昕:本以为 36 岁儿女双全已够幸福,没想到,现在幸福又升级了

凡知
2026-11-21 11:06:13
特朗普再夸中俄美元首会晤 盛赞中国干净又安全

特朗普再夸中俄美元首会晤 盛赞中国干净又安全

看看新闻Knews
2026-11-21 10:43:31
高市早苗重申:要继续援助乌克兰 推进对俄制裁

高市早苗重申:要继续援助乌克兰 推进对俄制裁

闪电新闻
2026-11-21 08:19:38
中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

迷彩人生
2026-11-13 10:25:30
华裔女子野外遭15岁男孩侵害,过程持续一小时,案情细节让人目瞪口呆

华裔女子野外遭15岁男孩侵害,过程持续一小时,案情细节让人目瞪口呆

夜夜思奇语
2026-11-19 14:02:49
裸粉瑜伽套装,丰满圆润熟女穿出轻熟感

裸粉瑜伽套装,丰满圆润熟女穿出轻熟感

樱桃小丸子1987
2026-11-01 19:36:30
5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

阿成嘞
2026-11-20 14:54:29
上海房价,反转了?

上海房价,反转了?

睿见投资
2026-11-21 09:30:19
各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

回京历史梦
2026-11-07 09:11:06
中国为什么会失去苏岩礁?只因外交战线上出了被韩国收买的间谍

中国为什么会失去苏岩礁?只因外交战线上出了被韩国收买的间谍

阿胡
2025-05-04 12:21:11
一位民生专家说:企业退休人员平均三千到三千五百元,机关事业单位平均五千到六千元,差距摆在那里

一位民生专家说:企业退休人员平均三千到三千五百元,机关事业单位平均五千到六千元,差距摆在那里

扶苏聊历史
2026-11-12 15:48:06
内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

红豆讲堂
2025-05-19 17:03:14
2026-11-21 11:56:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12992文章数 117196关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
健康
艺术
房产
手机

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版