网易首页 > 网易号 > 正文 申请入驻

DeepSeek开年炸场!梁文锋又发论文了,一如既往地强

0
分享至

智东西1月1日报道,昨日晚间,DeepSeek团队送出一份新年“贺礼”,正式发布新论文《Manifold-Constrained Hyper-Connections》,提出一种能稳定训练并提升大模型可扩展性的残差连接新方案。

DeepSeek创始人兼CEO梁文锋这次同样出现在了合著名单之中。

论文核心指出,尽管当前如Hyper-Connections(HC)这类连接结构能带来性能提升,但由于其结构复杂、缺乏约束,往往导致训练不稳定、信号失真甚至梯度爆炸等问题。

▲在27B模型中,HC的多层残差映射在反向传播中导致信号最大放大倍数逼近3000,存在梯度爆炸风险。

为此,DeepSeek提出了mHC(Manifold-Constrained Hyper-Connections)方案,将HC中的残差映射矩阵投影到双随机矩阵构成的“流形空间”,在保留拓扑表达力的同时,恢复原始残差连接的恒等映射性质。

▲DeepSeek提出的mHC结构通过流形投影重建了残差连接的稳定性。

实验证明,这一mHC方法在大规模训练中展现出显著稳定性,仅引入6.7%的训练时间开销,在多个下游任务中超越HC与Baseline模型。

▲在8个下游任务上,mHC全面超越HC,尤其在BBH(+2.1%)和DROP(+2.3%)上表现突出。

一、传统残差连接的升级难点:性能提升,但稳定性丧失

当前主流模型广泛采用Residual Connection架构,其核心优势在于具备“恒等映射”特性,可稳定信号传播、避免训练过程中信号衰减或放大。

但近年来如Hyper-Connections(HC)等结构,为提升表达能力引入更复杂的连接拓扑,将残差通道扩展至n倍宽度,并通过多个可学习映射矩阵对输入与输出特征进行重组。

然而,HC的自由形态也打破了恒等映射约束,导致训练中存在信号爆炸(最高放大至3000倍)或梯度异常的问题。

▲相较于mHC,传统Hyper-Connections在训练过程中出现显著的不稳定现象(上图),其残差连接在深层堆叠中更暴露出前向信号和反向梯度指数级放大问题(下图),成为大模型扩展的隐性障碍。

此外,HC还显著提高了GPU内存占用和通信带宽需求,限制了其在更大规模模型中的使用效率。

二、mHC关键机制:将残差映射投影到“流形”上恢复恒等映射

DeepSeek提出的mHC本质上是对HC的稳定性重构。

▲mHC将残差映射投影到双随机流形后,显著提升了前向信号与反向梯度传播的稳定性。

其核心在于:不再直接使用无约束的残差映射矩阵H_res,而是通过Sinkhorn-Knopp算法将其投影到“Birkhoff多面体”(即双随机矩阵流形)上。

这一投影操作使H_res具备以下三大性质:

1、所有行列和为1,具备能量守恒性,避免信号放大或衰减;

2、在矩阵乘法下闭合,即跨层传播仍保稳定性;

3、具备几何可解释性,是所有排列矩阵的凸组合,有利于特征信息融合。

论文中还提到,将输入/输出映射H_pre、H_post也做了正值约束,可进一步避免信号抵消现象。

▲mHC对应的残差映射矩阵更集中于1附近,反观HC则存在多个爆炸点。

三、实测效果:mHC显著提升训练稳定性与下游表现

此后,论文对比测试了Baseline、HC和mHC三种模型在27B参数规模下的训练表现与推理性能。实测结果表明,流形约束超连接(mHC)在大规模训练场景下显著优于传统超连接(HC)。

训练稳定性方面,对比传统残差、HC与mHC,HC训练中损失震荡发散,梯度爆炸;mHC损失平稳收敛,梯度稳定。

▲流形约束超连接(mHC)的训练稳定性

分析表明HC的复合映射增益高达3000(信息爆炸),而mHC控制在1.6,接近理想恒等映射,信号保真度高。

这说明,mHC通过双随机流形约束,有效抑制了多层堆叠中的信号放大与梯度爆炸问题,损失曲线平稳收敛,梯度范数保持稳定,解决了HC因数值不稳定导致的训练发散缺陷。

性能表现方面,27B模型在BBH(51.0 vs HC 48.9)、DROP(53.9 vs 51.6)、GSM8K、MATH、MMLU等任务显著优于HC与基线,取得显著增益,最高提升达2.3个百分点,验证了其在复杂推理与语义建模中的优势。

▲基准测试

可扩展性方面,3B-27B模型验证,mHC性能增益随规模扩大保持稳定甚至增强(如DROP提升从1.5→2.3),显示深层大模型中的信号保真需求更高,展现出良好的泛化能力与深层适配性。1T token训练下无过拟合,泛化能力增强。

▲(a) 计算扩展曲线;(b) token扩展曲线

系统效率方面,通过内核融合、重计算与通信重叠优化,mHC在扩展率n=4时仅引入6.7%的额外开销,通过内核融合(带宽提升22%)、重计算(内存降40%)及流水线优化(GPU利用率>90%),实现高效训练,工程可行性高。

结语:mHC或为下一代基础架构指明演进方向

作为HC范式的广义扩展,mHC为未来研究开辟了多个前景广阔的路径。

DeepSeek团队在结论中说,尽管本研究采用双随机矩阵确保稳定性,但该框架能容纳针对特定学习目标设计的多种流形约束探索。他们预计,对几何约束特性的进一步研究可能产生新颖方法,从而在可塑性与稳定性之间实现更优权衡。

此外,研究团队希望mHC能重新激发学界对宏观架构设计的兴趣。通过深化对拓扑结构如何影响优化与表征学习的理解,mHC或将有助于突破当前限制,并可能为下一代基础架构的演进指明新方向。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
受冷空气影响,2026年11月下旬起,猪肉、鸡蛋或将迎来"新变化"

受冷空气影响,2026年11月下旬起,猪肉、鸡蛋或将迎来"新变化"

浩渺青史
2026-11-21 04:03:39
深圳发“横财”了!APEC峰会结束仅2天,水贝、华强北双双爆单

深圳发“横财”了!APEC峰会结束仅2天,水贝、华强北双双爆单

天天热点见闻
2026-11-21 11:26:34
又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

颜小白的篮球梦
2026-11-21 07:32:25
1-3!利雅得胜利遭逆转 6连胜终结 41岁C罗斩生涯第986球+连场失点

1-3!利雅得胜利遭逆转 6连胜终结 41岁C罗斩生涯第986球+连场失点

我爱英超
2026-11-21 04:21:00
发现一个养老真相:养老院里 70% 是女性,被用 “男性标准” 照顾

发现一个养老真相:养老院里 70% 是女性,被用 “男性标准” 照顾

浩渺青史
2026-11-21 04:22:11
90%的高中生还在把address当“地址”背,高考却早就在这两个意思上反复设坑了

90%的高中生还在把address当“地址”背,高考却早就在这两个意思上反复设坑了

悄悄把英语磨成随身技能
2026-11-19 10:52:03
河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

塔子山评说
2026-11-18 18:10:50
俄军指挥部一锅端,二十多名军官集体阵亡

俄军指挥部一锅端,二十多名军官集体阵亡

知兵
2026-11-21 00:06:31
54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?

阿天爱旅行
2026-11-21 06:15:27
澳洲女记者一夜爆红! 所有人只顾看她, 完全没听新闻

澳洲女记者一夜爆红! 所有人只顾看她, 完全没听新闻

澳微Daily
2026-11-21 14:49:23
贺炜谈国少0-5:回到顶级舞台才能遇到强手,看到世界才有发展动力

贺炜谈国少0-5:回到顶级舞台才能遇到强手,看到世界才有发展动力

懂球帝
2026-11-21 12:04:10
14年累计下跌5%:这些年中国股民是怎么活的?

14年累计下跌5%:这些年中国股民是怎么活的?

城事堂
2026-10-18 09:35:23
GTA 6手感像大镖客2?先改这个移动设置

GTA 6手感像大镖客2?先改这个移动设置

渡川5
2026-11-20 03:26:06
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
U17世界杯开门黑!国足0-5西班牙 邝兆镭争议送点 12分钟崩盘丢3球

U17世界杯开门黑!国足0-5西班牙 邝兆镭争议送点 12分钟崩盘丢3球

我爱英超
2026-11-20 23:57:22
这则宣扬“几乎不休息”的新闻,上热搜了

这则宣扬“几乎不休息”的新闻,上热搜了

吴女士
2026-11-20 14:03:42
楼市开始离谱了!南京的房价,可能会迎来3大变化,很真实!

楼市开始离谱了!南京的房价,可能会迎来3大变化,很真实!

林子说事
2026-11-20 13:33:15
原来这些名字我们一直都理解错了!网友:鸭屎香原来和鸭无关!

原来这些名字我们一直都理解错了!网友:鸭屎香原来和鸭无关!

马蹄烫嘴说美食
2026-11-20 06:43:32
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
2026-11-21 15:47:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12992文章数 117196关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
时尚
教育
家居
军事航空

PC Gamer试玩GTA6百小时:双主角出色但任务重复

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版