网易首页 > 网易号 > 正文 申请入驻

DeepSeek发布最新论文,破解大模型训练拥堵难题

0
分享至

北京时间2026年1月1日,DeepSeek团队在arXiv(预印本)网站和Hugging Face上同步发布了最新论文,名为《mHC: Manifold-Constrained Hyper-Connections》,论文的核心观点是提出一种名为“mHC”(直译为“流形约束超连接”)的框架,该框架改进了此前大模型训练中一种名为“HC(Hyper-Connections,超连接)”的范式,对大规模模型训练提供了切实的性能改进。

贝壳财经记者注意到,DeepSeek创始人梁文锋的名字出现在了这篇论文署名作者的最后一位上。事实上,虽然DeepSeek在2025年春节因为R1模型的开源发布而全球爆火,但在梁文锋的带领下,这家公司极其低调,团队一直潜心学术,未做过多的商业化尝试,一心扑在基础模型理论研发之上,梁文锋还在近期入选了《自然》2025年影响科学发展十大人物。

梁文锋的名字出现在论文作者最后一位。Hugging Face网站截图

论文重点讲了什么?

破解大模型训练拥堵难题

贝壳财经记者梳理发现,DeepSeek团队本次发布的论文瞄准了大模型训练的“地基”——残差连接范式,以及为了升级残差连接范式提出的HC(超连接)范式,是不折不扣的一次基础理论创新。

DeepSeek团队在论文中以严谨的数学公式解释了mHC,若以简单的语言来类比,大致可以理解为,残差连接是AI模型训练的“生命线”——它像一条单车道高速公路,让数据信号可以跳过某些层直接连接,从而解决了在此之前神经网络越大训练越困难的问题。

但随着大模型参数突破千亿,这条“单车道”越来越不够用,此时超连接(HC)范式登场,其把单车道扩建成多车道,从而显著提升了模型性能。但与此同时,过多的数据信号也导致了“堵车撞车”,就像多车道中没装 “交通信号灯”一样,使模型训练变得更加不稳定,容易崩溃。

此时,DeepSeek提出了一种新算法,给“多车道”增加了一套智能调度系统(即mHC“流行约束”),其要求每个路口的车必须全部分流出去,每个车道接收的车数量固定,从而大大增加了模型训练的稳定性。

论文配图HC与mHC的训练损失差距,其中淡蓝色线为HC,蓝色线为mHC。论文截图

最终,DeepSeek在论文中以直观的测试展示了mHC方法相对于HC的稳定性。

理论创新

站在何凯明团队和字节跳动的肩膀上

值得注意的是,本次DeepSeek的论文,是站在了AI“大神”何凯明以及字节跳动的肩膀上。

这是因为,残差连接正是2015年由何凯明等人在微软亚洲研究院所提出的,何恺明还因此获得了CVPR 2016最佳论文奖,残差连接之后也成了几乎所有主流大模型的“标配”。

直到2024年,为了解决残差连接信号通道不够“宽阔”的问题,字节跳动旗下团队提出了HC(超连接)范式,但由此也带来了稳定性不够的问题。而DeepSeek正是在前人的基础上进一步进行了优化。

2026年的第一天,在诸多大模型公司聚焦商业化和变现之际,DeepSeek此举进一步证实了自己在基础模型领域的战略定力。

在本次发布论文的文末,DeepSeek团队写道,“我们希望mHC能重振社区对宏观架构设计的兴趣。通过加深对拓扑结构如何影响优化和表示学习的理解,mHC将有助于解决当前的限制,并有可能为下一代基础架构的发展指明新途径。”

新京报贝壳财经记者 罗亦丹

编辑 岳彩周

校对 柳宝庆

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
高校教师的黄金时代,一去不复返了!

高校教师的黄金时代,一去不复返了!

职场资深秘书
2026-11-17 15:38:44
你见过最没用的人脉是什么?网友:花70w到信用社当柜员,月薪800

你见过最没用的人脉是什么?网友:花70w到信用社当柜员,月薪800

另子维爱读史
2026-11-15 22:43:52
11月起开始严厉打击,这八类灰色行为将入刑!

11月起开始严厉打击,这八类灰色行为将入刑!

逍遥论经
2026-11-16 09:00:39
英国公布的圆明园被毁前照片,美如仙境,引发世界关注

英国公布的圆明园被毁前照片,美如仙境,引发世界关注

贱议你读史
2026-05-23 15:23:34
《多喜一家人》:全员演技惊艳,唯有一人挤眉弄眼差评一片

《多喜一家人》:全员演技惊艳,唯有一人挤眉弄眼差评一片

一娱三分地
2026-11-17 16:28:59
西方媒体再也捂不住了!胡塞武装的真实身份被揭开,压根不是伊朗的代理人,那真正的幕后玩家到底是谁?

西方媒体再也捂不住了!胡塞武装的真实身份被揭开,压根不是伊朗的代理人,那真正的幕后玩家到底是谁?

谈史论今1
2026-10-08 20:19:04
4分钟,20%涨停!光刻机,大爆发!发生了什么?

4分钟,20%涨停!光刻机,大爆发!发生了什么?

券商中国
2026-11-17 11:43:19
张学良至死不知:他最小的妹妹张怀敏,才是张家真正的传奇!

张学良至死不知:他最小的妹妹张怀敏,才是张家真正的传奇!

赵枹是个热血青年
2026-11-16 11:05:26
宝玉刚梦遗,袭人就伸手摸到了大腿根:这场“意外”也太巧了吧

宝玉刚梦遗,袭人就伸手摸到了大腿根:这场“意外”也太巧了吧

如玉公子
2026-11-04 08:30:16
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
一张“专科男生穿始祖鸟学习”照,被嘲笑惨了:穿上龙袍也不像太子

一张“专科男生穿始祖鸟学习”照,被嘲笑惨了:穿上龙袍也不像太子

泽泽先生
2026-11-15 13:59:44
霍啟山未婚妻娜然起底 173cm俄蒙混血名模曾出演周杰倫MV女主

霍啟山未婚妻娜然起底 173cm俄蒙混血名模曾出演周杰倫MV女主

粤睇先生
2026-11-14 20:43:59
原价500美元的哈曼卡顿音箱,黑五直降80%到99.99美元

原价500美元的哈曼卡顿音箱,黑五直降80%到99.99美元

晚星归航2
2026-11-17 07:03:22
以前被西方垄断,现在世道变了!广州番禺让国外奢侈品牌睡不着

以前被西方垄断,现在世道变了!广州番禺让国外奢侈品牌睡不着

去山野间追风
2026-11-17 15:29:50
格林谈伦德博格:把他放进库里的角色,这不公平

格林谈伦德博格:把他放进库里的角色,这不公平

日常碎碎念啊
2026-11-17 17:03:19
双脚出现这三个异常,是脑梗在敲门,很多人竟不当回事

双脚出现这三个异常,是脑梗在敲门,很多人竟不当回事

荔子言
2026-11-13 10:25:16
横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

扶苏聊历史
2026-10-28 15:47:11
“差评”极多的国家:好色成瘾,骗子遍地?却被评为最佳旅行地

“差评”极多的国家:好色成瘾,骗子遍地?却被评为最佳旅行地

咸鱼金脑袋
2026-11-17 09:09:16
浙江女子深夜打车失禁尿后座,付566元清洗费,司机反被平台判加价处罚

浙江女子深夜打车失禁尿后座,付566元清洗费,司机反被平台判加价处罚

齐鲁壹点
2026-11-16 14:15:18
电视直播中,女主播突然宣布怀三胎?全网看傻:姐,你都59岁了啊!

电视直播中,女主播突然宣布怀三胎?全网看傻:姐,你都59岁了啊!

英国那些事儿
2026-11-17 00:47:46
2026-11-17 17:24:49
贝壳财经 incentive-icons
贝壳财经
新京报旗下财经品牌
71549文章数 14093关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

教育
健康
艺术
时尚
军事航空

教育要闻

江苏宝应:推进健康学校建设

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

寸境宏光——2026中国小幅油画展 作品选四

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版