网易首页 > 网易号 > 正文 申请入驻

DeepSeek发布最新论文,破解大模型训练拥堵难题

0
分享至

北京时间2026年1月1日,DeepSeek团队在arXiv(预印本)网站和Hugging Face上同步发布了最新论文,名为《mHC: Manifold-Constrained Hyper-Connections》,论文的核心观点是提出一种名为“mHC”(直译为“流形约束超连接”)的框架,该框架改进了此前大模型训练中一种名为“HC(Hyper-Connections,超连接)”的范式,对大规模模型训练提供了切实的性能改进。

贝壳财经记者注意到,DeepSeek创始人梁文锋的名字出现在了这篇论文署名作者的最后一位上。事实上,虽然DeepSeek在2025年春节因为R1模型的开源发布而全球爆火,但在梁文锋的带领下,这家公司极其低调,团队一直潜心学术,未做过多的商业化尝试,一心扑在基础模型理论研发之上,梁文锋还在近期入选了《自然》2025年影响科学发展十大人物。

梁文锋的名字出现在论文作者最后一位。Hugging Face网站截图

论文重点讲了什么?

破解大模型训练拥堵难题

贝壳财经记者梳理发现,DeepSeek团队本次发布的论文瞄准了大模型训练的“地基”——残差连接范式,以及为了升级残差连接范式提出的HC(超连接)范式,是不折不扣的一次基础理论创新。

DeepSeek团队在论文中以严谨的数学公式解释了mHC,若以简单的语言来类比,大致可以理解为,残差连接是AI模型训练的“生命线”——它像一条单车道高速公路,让数据信号可以跳过某些层直接连接,从而解决了在此之前神经网络越大训练越困难的问题。

但随着大模型参数突破千亿,这条“单车道”越来越不够用,此时超连接(HC)范式登场,其把单车道扩建成多车道,从而显著提升了模型性能。但与此同时,过多的数据信号也导致了“堵车撞车”,就像多车道中没装 “交通信号灯”一样,使模型训练变得更加不稳定,容易崩溃。

此时,DeepSeek提出了一种新算法,给“多车道”增加了一套智能调度系统(即mHC“流行约束”),其要求每个路口的车必须全部分流出去,每个车道接收的车数量固定,从而大大增加了模型训练的稳定性。

论文配图HC与mHC的训练损失差距,其中淡蓝色线为HC,蓝色线为mHC。论文截图

最终,DeepSeek在论文中以直观的测试展示了mHC方法相对于HC的稳定性。

理论创新

站在何凯明团队和字节跳动的肩膀上

值得注意的是,本次DeepSeek的论文,是站在了AI“大神”何凯明以及字节跳动的肩膀上。

这是因为,残差连接正是2015年由何凯明等人在微软亚洲研究院所提出的,何恺明还因此获得了CVPR 2016最佳论文奖,残差连接之后也成了几乎所有主流大模型的“标配”。

直到2024年,为了解决残差连接信号通道不够“宽阔”的问题,字节跳动旗下团队提出了HC(超连接)范式,但由此也带来了稳定性不够的问题。而DeepSeek正是在前人的基础上进一步进行了优化。

2026年的第一天,在诸多大模型公司聚焦商业化和变现之际,DeepSeek此举进一步证实了自己在基础模型领域的战略定力。

在本次发布论文的文末,DeepSeek团队写道,“我们希望mHC能重振社区对宏观架构设计的兴趣。通过加深对拓扑结构如何影响优化和表示学习的理解,mHC将有助于解决当前的限制,并有可能为下一代基础架构的发展指明新途径。”

新京报贝壳财经记者 罗亦丹

编辑 岳彩周

校对 柳宝庆

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
川普又赢麻了。。。

川普又赢麻了。。。

西楼饮月
2026-07-18 23:08:59
C罗含金量上升!西班牙4年4进决赛3夺冠,唯一输球拜葡萄牙所赐

C罗含金量上升!西班牙4年4进决赛3夺冠,唯一输球拜葡萄牙所赐

全景体育V
2026-07-20 07:10:19
英媒曾爆料:法航母在南海追中国潜艇,结果碰上中国40艘军舰懵了

英媒曾爆料:法航母在南海追中国潜艇,结果碰上中国40艘军舰懵了

流史岁月
2026-07-15 14:30:10
宏远彻底大换血!3人悄然离队,朱芳雨瞄准超级新星补强

宏远彻底大换血!3人悄然离队,朱芳雨瞄准超级新星补强

林子说事
2026-07-20 06:10:45
达拉斯牛仔啦啦队员手上有纹身?她用最脏美妆蛋骗过所有人

达拉斯牛仔啦啦队员手上有纹身?她用最脏美妆蛋骗过所有人

影视情报室
2026-07-19 01:09:52
原来我们误会徐克了,施南生抢救过程曝光,原来她和大S处境一样

原来我们误会徐克了,施南生抢救过程曝光,原来她和大S处境一样

枫尘余往逝
2026-07-18 12:55:17
能活到85岁的老人,多数在50岁时,就已经不再做这些事了

能活到85岁的老人,多数在50岁时,就已经不再做这些事了

烙任情感
2026-07-16 10:34:06
李在明警告公职人员“别把年轻女性当玩物”,光州消防员性骚扰案引关注

李在明警告公职人员“别把年轻女性当玩物”,光州消防员性骚扰案引关注

我是一个养虾人
2026-07-19 01:42:10
13点01分!北京国安正式官宣,2人驰援加盟,蒙哥马利喜迎帮手

13点01分!北京国安正式官宣,2人驰援加盟,蒙哥马利喜迎帮手

王大发不懂球
2026-07-20 07:00:26
交易达成!再见了,雷霆!NBA一阵防守大闸

交易达成!再见了,雷霆!NBA一阵防守大闸

篮球实战宝典
2026-07-20 03:58:34
韩国生育率彻底爆发,打脸了全球人口学家。

韩国生育率彻底爆发,打脸了全球人口学家。

流苏晚晴
2026-07-12 19:08:14
身高182的篮球网红,凭啥让两米大汉服气,看完就懂

身高182的篮球网红,凭啥让两米大汉服气,看完就懂

林子说事
2026-07-19 13:05:45
万亿央企蛀虫终于揪出来了!离职七年难逃法网,25年腐化史现真容

万亿央企蛀虫终于揪出来了!离职七年难逃法网,25年腐化史现真容

阿器谈史
2026-07-14 16:57:29
银牌不配!阿根廷赛后三宗罪,被英国名宿怒喷“世界杯耻辱”

银牌不配!阿根廷赛后三宗罪,被英国名宿怒喷“世界杯耻辱”

曹老师评球
2026-07-20 09:24:25
牛肉再次成瞩目!调查得出:高血脂患者吃牛肉,不出多久或5变化

牛肉再次成瞩目!调查得出:高血脂患者吃牛肉,不出多久或5变化

周哥一影视
2026-07-20 00:27:19
对不起韩红,人民日报都发声了,我们可能错信你了

对不起韩红,人民日报都发声了,我们可能错信你了

阿乐碎碎念
2026-07-16 18:44:44
乌军偷家成功致8死55伤,泽连斯基被问责,基辅敖德萨混乱

乌军偷家成功致8死55伤,泽连斯基被问责,基辅敖德萨混乱

聚焦风暴来袭
2026-07-20 08:18:33
“这才是政审的意义!”女子考公上岸后,被高中欺负过的同学举报

“这才是政审的意义!”女子考公上岸后,被高中欺负过的同学举报

妍妍教育日记
2026-07-17 08:25:14
凶手竟是炊事员,真相如何,1987年沈阳空军某部特大杀人案始末

凶手竟是炊事员,真相如何,1987年沈阳空军某部特大杀人案始末

战域笔墨
2026-07-19 15:08:54
被成分帽压了三代人,风波散尽,他们的结局出人意料

被成分帽压了三代人,风波散尽,他们的结局出人意料

娱乐洞察点点
2026-07-18 13:24:57
2026-07-20 09:44:49
贝壳财经 incentive-icons
贝壳财经
新京报旗下财经品牌
67189文章数 14045关注度
往期回顾 全部

科技要闻

中兴阶跃荣耀齐出手,AI手机争夺系统入口

头条要闻

罗德里夺世界杯金球奖 集齐足坛4大荣誉罕见"金满贯"

头条要闻

罗德里夺世界杯金球奖 集齐足坛4大荣誉罕见"金满贯"

体育要闻

西班牙捧起大力神杯 美国总统特朗普颁奖

娱乐要闻

王侃因病逝世 两年前与父亲牛犇同台

财经要闻

“国家队”护盘,稳市机制持续护航A股

汽车要闻

被追尾还能自动加速逃生?华为乾崑智驾ADS 5.0 OTA时间表发布,只有这台车不用等!

态度原创

教育
数码
时尚
本地
亲子

教育要闻

留法成本又增加?超9成非欧盟留学生可能受影响!

数码要闻

三星推出最亮笔记本电脑OLED面板:峰值亮度1600尼特

看来看去夏天还是穿T恤最合适,不用买太贵,舒适百搭又经典

本地新闻

十年了,为什么鬼怪CP还能让人美美嗑上?

亲子要闻

你这么多话是喇叭吗,太逗了

无障碍浏览 进入关怀版