网易首页 > 网易号 > 正文 申请入驻

DeepSeek,最新发布!

0
分享至

DeepSeek发布新论文,梁文锋参与署名。

1月1日消息,DeepSeek发布了一篇新论文,提出了一种名为mHC(流形约束超连接)的新架构。该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题,同时保持其显著的性能增益。这篇论文的第一作者有三位:Zhenda Xie(解振达)、Yixuan Wei(韦毅轩)、Huanqi Cao。值得注意的是,DeepSeek创始人梁文锋也在作者名单中。

论文摘要指出,近来,以超连接(HC)为代表的研究通过拓宽残差流宽度和多样化连接模式,拓展了过去十年间确立的普遍采用的残差连接范式。虽然这些改进带来了显著的性能提升,但连接模式的多样化从根本上削弱了残差连接固有的恒等映射特性,导致严重的训练不稳定性与受限的可扩展性,同时还造成了显著的内存访问开销。为了解决这些问题,DeepSeek提出了流形约束超连接(mHC)——一种通用框架,能够将HC的残差连接空间投影到特定流形上,从而恢复恒等映射特性,并融合严格的基础设施优化以确保运行效率。实证实验表明,mHC能够有效支持大规模训练,在提供明显性能提升的同时具备更优的可扩展性。DeepSeek预计,mHC作为HC的一种灵活而实用的拓展,将有助于深化对拓扑架构设计的理解,并为基座模型的演进指明富有前景的方向。

内部大规模训练结果显示,mHC可有效支持规模化训练,当扩展率????=4时,仅带来6.7%的额外时间开销。

图为残差连接范式的示意图。本图对比了 (a) 标准残差连接、(b) 超连接 以及 (c) 流形约束超连接的结构设计。与无约束的HC不同,mHC通过将连接矩阵投影到一个约束流形上,专注于优化残差连接空间,从而确保训练的稳定性。

论文在结论与展望部分指出,实证结果表明,mHC能有效恢复恒等映射特性,相较于传统HC,能以更优的可扩展性实现稳定的大规模训练。关键的是,通过高效的基础设施级优化,mHC以可忽略的计算开销实现了上述改进。

论文还指出,作为HC范式的广义拓展,mHC为未来研究开辟了多个重要方向:虽然本研究采用双随机矩阵确保稳定性,但该框架可兼容针对特定学习目标设计的多种流形约束探索;预计对差异化几何约束的深入研究可能催生能更好权衡可塑性—稳定性关系的新方法。此外,DeepSeek希望mHC能重新激发学界对宏观架构设计的关注。通过深化对拓扑结构如何影响优化与表征学习的理解,mHC将有助于突破现有局限,并可能为下一代基础架构的演进指明新路径。

近期,DeepSeek动作不断。2025年12月1日,DeepSeek同时发布两个正式版模型:DeepSeek-V3.2和DeepSeek-V3.2-Speciale。

DeepSeek表示,DeepSeek-V3.2的目标是平衡推理能力与输出长度,适合日常使用,例如问答场景和通用Agent任务场景。在公开的推理类Benchmark测试中,DeepSeek-V3.2达到了GPT-5的水平,仅略低于Gemini-3.0-Pro;相比Kimi-K2-Thinking,V3.2的输出长度大幅降低,显著减少了计算开销与用户等待时间。

DeepSeek-V3.2-Speciale是DeepSeek-V3.2的长思考增强版,同时结合了DeepSeek-Math-V2的定理证明能力。该模型具备出色的指令跟随、严谨的数学证明与逻辑验证能力,在主流推理基准测试上的性能表现媲美Gemini-3.0-Pro。

2025年9月29日,DeepSeek宣布,正式发布DeepSeek-V3.2-Exp模型。作为迈向新一代架构的中间步骤,V3.2-Exp在V3.1-Terminus的基础上引入了DeepSeek Sparse Attention(一种稀疏注意力机制),针对长文本的训练和推理效率进行了探索性的优化和验证。同时API大幅度降价。在新的价格政策下,开发者调用DeepSeek API的成本将降低50%以上。

2025年9月17日,在最新一期的国际权威期刊Nature(自然)中,DeepSeek-R1推理模型研究论文登上了封面。该论文由DeepSeek团队共同完成,梁文锋担任通讯作者,首次公开了仅靠强化学习就能激发大模型推理能力的重要研究成果。这是中国大模型研究首次登上Nature封面,也是全球首个经过完整同行评审并发表于权威期刊的主流大语言模型研究,标志着中国AI技术在国际科学界获得最高认可。

Nature在其社论中评价道:“几乎所有主流的大模型都还没有经过独立同行评审,这一空白终于被DeepSeek打破。”

综合自:DeepSeek论文、证券时报此前报道

责编:李丹

校对:王锦程

版权声明

" Type="normal"@@-->

证券时报各平台所有原创内容,未经书面授权,任何单位及个人不得转载。我社保留追究相关行为主体法律责任的权利。

转载与合作可联系证券时报小助理,微信ID:SecuritiesTimes

" Type="normal"@@-->

END

" Type="normal"@@-->

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中央批准,五人职务调整

中央批准,五人职务调整

南安融媒
2026-11-13 01:53:50
76人大胜!恩比德20+4+3,赛后老詹先一步退场,马克西抱着女儿接受采访

76人大胜!恩比德20+4+3,赛后老詹先一步退场,马克西抱着女儿接受采访

担酒
2026-11-13 10:33:25
没带课本就往死里打?8岁留守女童被班主任关办公室暴打20分钟,打到骨折抽搐,右手骨折浑身淤青,官方介入

没带课本就往死里打?8岁留守女童被班主任关办公室暴打20分钟,打到骨折抽搐,右手骨折浑身淤青,官方介入

秋风妃
2026-11-12 21:44:50
今日重要赛事!11月13日,央视CCTV5、CCTV5+节目表

今日重要赛事!11月13日,央视CCTV5、CCTV5+节目表

薇说体育
2026-11-13 10:41:47
再不跑全无了:俄罗斯轰炸机集体东迁,还是接壤中国的远东最安全

再不跑全无了:俄罗斯轰炸机集体东迁,还是接壤中国的远东最安全

影孖看世界
2026-11-10 20:55:13
内娱终于出了一个可怕的演员,兰西雅, 不是说她的长相,而是她一个人居然可以把一部戏从唱歌到演戏全包了,还做得很好

内娱终于出了一个可怕的演员,兰西雅, 不是说她的长相,而是她一个人居然可以把一部戏从唱歌到演戏全包了,还做得很好

一盅情怀
2026-11-11 15:44:49
不出意外,2027年1月起,中国或将迎来4大涨价潮,提前了解不吃亏

不出意外,2027年1月起,中国或将迎来4大涨价潮,提前了解不吃亏

专业聊房君
2026-11-10 17:19:38
金价银价,大跌!

金价银价,大跌!

环球网资讯
2026-11-13 09:22:23
中国经济样本观察·“镇”了不起|从戏服到汉服,5万人小镇“绣”出百亿元“华裳产业”

中国经济样本观察·“镇”了不起|从戏服到汉服,5万人小镇“绣”出百亿元“华裳产业”

新华社
2026-11-11 08:50:07
13岁熊孩子故意锁死"旋转秋千"游乐设施!致高速运转失控!有人被甩飞重伤…

13岁熊孩子故意锁死"旋转秋千"游乐设施!致高速运转失控!有人被甩飞重伤…

特种设备安全科普
2026-11-12 05:20:10
我是副高五级,工龄38年9个月,25年5月份退休,养老金预发15600,年终发6500过节费

我是副高五级,工龄38年9个月,25年5月份退休,养老金预发15600,年终发6500过节费

伦纳德之家
2026-11-12 22:47:24
台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

只能离开
2026-11-11 22:13:42
北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

扶苏聊历史
2026-11-04 18:20:53
一则国企校招上岸截图走红!岗位为成都总部生产技术岗,家庭晒喜讯,三方协议争议刷屏评论区

一则国企校招上岸截图走红!岗位为成都总部生产技术岗,家庭晒喜讯,三方协议争议刷屏评论区

火山詩话
2026-11-13 09:56:20
姑娘深夜在小区遭陌生男子猥亵,还盯着她笑……3个外卖小哥发现后冲了上去!“遇到这种事要勇敢喊出来”

姑娘深夜在小区遭陌生男子猥亵,还盯着她笑……3个外卖小哥发现后冲了上去!“遇到这种事要勇敢喊出来”

都市快报橙柿互动
2026-11-13 03:30:10
想钱想疯了!记者把燃气灶里的电池换成没电的,然后通过啄木鸟平台下单报修,结果5个师傅只有2个说了实话

想钱想疯了!记者把燃气灶里的电池换成没电的,然后通过啄木鸟平台下单报修,结果5个师傅只有2个说了实话

扶苏聊历史
2026-11-12 16:31:35
他们“死的”,一点不冤

他们“死的”,一点不冤

美第奇效应
2026-11-11 23:17:21
网传物业费会成为压死失业人群的最后一根稻草…

网传物业费会成为压死失业人群的最后一根稻草…

慧翔百科
2026-11-12 11:33:59
1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

扶苏聊历史
2026-11-06 18:18:35
厦金大桥厦门段顺利合龙,大陆表态:不管台方态度,工程持续推进

厦金大桥厦门段顺利合龙,大陆表态:不管台方态度,工程持续推进

辉哥说动漫
2026-11-13 07:13:10
2026-11-13 15:20:49
证券时报 incentive-icons
证券时报
运营主体:深圳证券时报社有限公司
996782文章数 239913关注度
往期回顾 全部

科技要闻

黄仁勋辞职,马斯克们抱不平!

头条要闻

牛弹琴:黄仁勋黯然辞职 至少释放三重信号

头条要闻

牛弹琴:黄仁勋黯然辞职 至少释放三重信号

体育要闻

28年前的“点球罪人”,把冠军带回大连

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

房产
数码
本地
公开课
军事航空

房产要闻

十年长草!三亚这个豪宅盘,爆出新消息!

数码要闻

STEPX Neo体验:当手机开始理解意图,AI交互有了新玩法

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌宣告达成换俘协议

无障碍浏览 进入关怀版