网易首页 > 网易号 > 正文 申请入驻

DeepSeek,最新发布!

0
分享至

来源:市场资讯

(来源:证券时报)

DeepSeek发布新论文,梁文锋参与署名。

1月1日消息,DeepSeek发布了一篇新论文,提出了一种名为mHC(流形约束超连接)的新架构。该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题,同时保持其显著的性能增益。这篇论文的第一作者有三位:Zhenda Xie(解振达)、Yixuan Wei(韦毅轩)、Huanqi Cao。值得注意的是,DeepSeek创始人梁文锋也在作者名单中。

论文摘要指出,近来,以超连接(HC)为代表的研究通过拓宽残差流宽度和多样化连接模式,拓展了过去十年间确立的普遍采用的残差连接范式。虽然这些改进带来了显著的性能提升,但连接模式的多样化从根本上削弱了残差连接固有的恒等映射特性,导致严重的训练不稳定性与受限的可扩展性,同时还造成了显著的内存访问开销。为了解决这些问题,DeepSeek提出了流形约束超连接(mHC)——一种通用框架,能够将HC的残差连接空间投影到特定流形上,从而恢复恒等映射特性,并融合严格的基础设施优化以确保运行效率。实证实验表明,mHC能够有效支持大规模训练,在提供明显性能提升的同时具备更优的可扩展性。DeepSeek预计,mHC作为HC的一种灵活而实用的拓展,将有助于深化对拓扑架构设计的理解,并为基座模型的演进指明富有前景的方向。

内部大规模训练结果显示,mHC可有效支持规模化训练,当扩展率????=4时,仅带来6.7%的额外时间开销。

图为残差连接范式的示意图。本图对比了 (a) 标准残差连接、(b) 超连接 以及 (c) 流形约束超连接的结构设计。与无约束的HC不同,mHC通过将连接矩阵投影到一个约束流形上,专注于优化残差连接空间,从而确保训练的稳定性。

论文在结论与展望部分指出,实证结果表明,mHC能有效恢复恒等映射特性,相较于传统HC,能以更优的可扩展性实现稳定的大规模训练。关键的是,通过高效的基础设施级优化,mHC以可忽略的计算开销实现了上述改进。

论文还指出,作为HC范式的广义拓展,mHC为未来研究开辟了多个重要方向:虽然本研究采用双随机矩阵确保稳定性,但该框架可兼容针对特定学习目标设计的多种流形约束探索;预计对差异化几何约束的深入研究可能催生能更好权衡可塑性—稳定性关系的新方法。此外,DeepSeek希望mHC能重新激发学界对宏观架构设计的关注。通过深化对拓扑结构如何影响优化与表征学习的理解,mHC将有助于突破现有局限,并可能为下一代基础架构的演进指明新路径。

近期,DeepSeek动作不断。2025年12月1日,DeepSeek同时发布两个正式版模型:DeepSeek-V3.2和DeepSeek-V3.2-Speciale。

DeepSeek表示,DeepSeek-V3.2的目标是平衡推理能力与输出长度,适合日常使用,例如问答场景和通用Agent任务场景。在公开的推理类Benchmark测试中,DeepSeek-V3.2达到了GPT-5的水平,仅略低于Gemini-3.0-Pro;相比Kimi-K2-Thinking,V3.2的输出长度大幅降低,显著减少了计算开销与用户等待时间。

DeepSeek-V3.2-Speciale是DeepSeek-V3.2的长思考增强版,同时结合了DeepSeek-Math-V2的定理证明能力。该模型具备出色的指令跟随、严谨的数学证明与逻辑验证能力,在主流推理基准测试上的性能表现媲美Gemini-3.0-Pro。

2025年9月29日,DeepSeek宣布,正式发布DeepSeek-V3.2-Exp模型。作为迈向新一代架构的中间步骤,V3.2-Exp在V3.1-Terminus的基础上引入了DeepSeek Sparse Attention(一种稀疏注意力机制),针对长文本的训练和推理效率进行了探索性的优化和验证。同时API大幅度降价。在新的价格政策下,开发者调用DeepSeek API的成本将降低50%以上。

2025年9月17日,在最新一期的国际权威期刊Nature(自然)中,DeepSeek-R1推理模型研究论文登上了封面。该论文由DeepSeek团队共同完成,梁文锋担任通讯作者,首次公开了仅靠强化学习就能激发大模型推理能力的重要研究成果。这是中国大模型研究首次登上Nature封面,也是全球首个经过完整同行评审并发表于权威期刊的主流大语言模型研究,标志着中国AI技术在国际科学界获得最高认可。

Nature在其社论中评价道:“几乎所有主流的大模型都还没有经过独立同行评审,这一空白终于被DeepSeek打破。”

综合自:DeepSeek论文、证券时报此前报道

责编:李丹

证券时报各平台所有原创内容,未经书面授权,任何单位及个人不得转载。我社保留追究相关行为主体法律责任的权利。

" Type="normal"@@-->

" Type="normal"@@-->

]article_adlist-->

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
浙江男子在悬崖速降,距地面约5米时发现绳索用尽!报警求助后,消防员用单杠梯将其救下

浙江男子在悬崖速降,距地面约5米时发现绳索用尽!报警求助后,消防员用单杠梯将其救下

环球网资讯
2026-01-01 08:33:50
6年前自称西施貂蝉,非千万富翁不嫁的四川女孩,如今嫁人了吗?

6年前自称西施貂蝉,非千万富翁不嫁的四川女孩,如今嫁人了吗?

吃青菜长高
2025-12-31 23:08:08
必须拆除!这座用中国“血肉”堆起的“妖塔”,是亚洲的耻辱

必须拆除!这座用中国“血肉”堆起的“妖塔”,是亚洲的耻辱

布拉旅游说
2025-12-16 08:21:02
古巨基二胎代孕风波争议,被扒经常去美国,生头胎时也没出门!

古巨基二胎代孕风波争议,被扒经常去美国,生头胎时也没出门!

古希腊掌管月桂的神
2026-01-01 22:29:24
金融圈大消息!涉嫌严重违纪违法,石永拴被查

金融圈大消息!涉嫌严重违纪违法,石永拴被查

中国基金报
2026-01-01 15:14:59
31分惨败北京!广东10人拉胯,徐杰重伤萨姆纳拉伤,胡明轩成战犯

31分惨败北京!广东10人拉胯,徐杰重伤萨姆纳拉伤,胡明轩成战犯

后仰大风车
2026-01-01 21:31:15
回顾“91女神”琪琪:五官出众,却因天真让自己“受伤”

回顾“91女神”琪琪:五官出众,却因天真让自己“受伤”

就一点
2025-11-22 10:36:39
白嫖羽绒服女子已社死!关键证据曝光,不止穿过一次,商家恐闭店

白嫖羽绒服女子已社死!关键证据曝光,不止穿过一次,商家恐闭店

相思赋予谁a
2026-01-01 01:24:07
36岁男明星晒南极旅游!天天吃泡面,吐槽企鹅屎臭,网友:祛魅了

36岁男明星晒南极旅游!天天吃泡面,吐槽企鹅屎臭,网友:祛魅了

瓜汁橘长Dr
2025-12-29 17:52:06
你和同事干过最暧昧的事是啥?网友:大家公司都这么精彩的吗

你和同事干过最暧昧的事是啥?网友:大家公司都这么精彩的吗

解读热点事件
2025-10-06 00:10:03
无惧大雨!台北跨年“101烟火秀”点亮夜空

无惧大雨!台北跨年“101烟火秀”点亮夜空

看看新闻Knews
2026-01-01 02:13:05
方媛现身上海金店!给三宝挑了只黄金螃蟹,店员一路送到门口

方媛现身上海金店!给三宝挑了只黄金螃蟹,店员一路送到门口

松林侃世界
2026-01-01 19:57:56
iu李知恩突然二次发育了

iu李知恩突然二次发育了

可乐谈情感
2026-01-02 00:58:26
前女友coco大曝和谢贤的私密事件,89岁的谢贤,还要为风流买单

前女友coco大曝和谢贤的私密事件,89岁的谢贤,还要为风流买单

天天热点见闻
2026-01-01 06:32:13
伊朗抗议第4天愈演愈烈!民众试图强攻政府大楼,28岁女头领被捕

伊朗抗议第4天愈演愈烈!民众试图强攻政府大楼,28岁女头领被捕

译言
2026-01-01 06:34:27
泪流满面!惠州一电子厂年末各种奖励太吓人了,声称业绩蒸蒸日上

泪流满面!惠州一电子厂年末各种奖励太吓人了,声称业绩蒸蒸日上

火山詩话
2026-01-02 06:01:51
果然不出大陆所料,2026年第一天,赖清德称:台湾已经没时间等了

果然不出大陆所料,2026年第一天,赖清德称:台湾已经没时间等了

荐史
2026-01-01 11:32:54
英格拉姆本有机会扳平比分的3分球被判无效,猛龙队最终输掘金队

英格拉姆本有机会扳平比分的3分球被判无效,猛龙队最终输掘金队

好火子
2026-01-02 03:21:09
广东两市民政、退役军人事务局合并

广东两市民政、退役军人事务局合并

澎湃新闻
2026-01-01 23:54:04
“欧洲之星”列车又变灾难片!深夜冻僵海底隧道,没电没暖气,大批乘客弃车爬向法国!

“欧洲之星”列车又变灾难片!深夜冻僵海底隧道,没电没暖气,大批乘客弃车爬向法国!

新欧洲
2026-01-01 18:57:51
2026-01-02 08:00:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
1895909文章数 5135关注度
往期回顾 全部

科技要闻

特斯拉Model 3车主首度全程自驾横穿美国

头条要闻

卢卡申科:西方所有人都明白 若除掉普京一切都会不同

头条要闻

卢卡申科:西方所有人都明白 若除掉普京一切都会不同

体育要闻

2026,这些英超纪录可能会被打破

娱乐要闻

跑调风波越演越烈!沈佳润被网友喊话

财经要闻

巴菲特「身退,权还在」

汽车要闻

一汽-大众2025年整车销量超158万辆 燃油车市占率创新高

态度原创

房产
旅游
艺术
游戏
教育

房产要闻

实景暴击!海口这个顶流红盘,抛出准现房+顶级书包双王炸!

旅游要闻

“请3休8”抢跑出游 冰雪游避寒游火爆

艺术要闻

他捐了8件故宫镇馆之宝,晚年生病要换病房,却被告知:你级别不够

LPL最惨选手诞生!圈内主播爆料RNG离谱合同,LPL概念神陪玩挣钱

教育要闻

400分江苏女孩放弃单招走高考,遭1.7w人打击:还不如玩半年

无障碍浏览 进入关怀版