网易首页 > 网易号 > 正文 申请入驻

同样是万亿大模型,美团跑通国产卡,DeepSeek迁移为何这么难?

0
分享至

文|风青雪



大家好,我是小观。

同样是万亿参数大模型,美团兰格拆D2.0已经在国产卡集群跑完从零开始的预训练、后训练全流程,可DeepSeek却一直被大家追问,到底能不能脱离英伟达做预训练。



V4主体预训练外界普遍判断还是跑在H800上,昇腾只拿下了V4PRO的后训练和推理。

一边已经跑通,一边还在攻坚,这个巨大反差,到底藏着什么样的算力难题?

今天咱们用大白话,把这件事讲明白。



很多人分不清预训练、后训练和推理,觉得能对话推理,就能直接训大模型,其实完全不是一回事。

推理就是咱们平时和AI聊天,只做前向计算,显存放模型权重就行,一张卡出问题,顶多这一次回答慢一点,容错很高。



后训练是在成熟模型基础上微调,学指令、学推理,虽然也有反向传播,但数据量小、周期短,出问题回滚重来,成本很低。

而预训练才是根基,要喂海量文本,反复猜词、改错、更新参数,前向、算损失、反向传播、梯度更新一步都不能少。



反向传播的计算量是前向的两倍,一个词元消耗算力大约是推理的三倍。

显存压力更是吓人,推理好比柜子里只放一本说明书;预训练除了权重,还要存梯度、优化器记录一大堆配套数据。



像V4PRO,推理只要十几张卡,预训练状态数据就要将近200张卡才能装下。

上万张卡一起训练,还要不停互相同步梯度,MoE模型还要来回分发数据,通信压力巨大。



就算是英伟达成熟集群,Meta训练Llama3405B,五十多天里故障四百多次,平均三小时就断一次。

预训练牵一发而动全身,一张卡出错,整个任务就要停住回滚,成本极高,这就是预训练的地狱难度。



讲到这里很多人会问,美团都用国产卡训完万亿模型了,为什么DeepSeek这么难?

在我看来,关键不是国产算力做不了通用预训练,而是DeepSeek的模型从底层,就是贴着英伟达硬件量身打磨的。



它的MoE专家切得特别细,每一层256个专家,每次只激活8个,数据在卡之间来回跑,通信压力拉满。

它的MLA、DSA、CSA、HCA这一系列压缩注意力写法,都是为了解决长上下文开销,代价就是计算碎片化、访存不规则。



这些底层算子一开始全是针对Hopper架构手工写的,甚至吃透了芯片本身的精度短板,专门设计计算策略。

它还会限制数据分发节点、划分核心专门负责通信,用到了底层非常规指令,模型和CUDA生态深度绑定。



英伟达SM架构里矩阵单元和通用核心融合,适合这种零散计算。

而昇腾达芬奇架构,矩阵和通用计算单元分开,早年零散访存并不占优,加上算子生态不完善,迁移起来难度巨大。



但现在局面已经变了,国产算力的拐点已经来了。

新一代昇腾950DT补上FP8能力,单卡144GB显存,带宽、互联能力大幅提升,访存粒度缩小,专门适配碎片化数据访问。



几千卡、上万卡的集群、容错、断点续训工具都在持续成熟。

今年9月30日,DeepSeek开源了适配昇腾的全套底层组件,FlashMLA、DPP这些核心库都有了昇腾版本,还改用专用描述语言,一份代码可以编译到不同硬件,不再死死绑定CUDA。



950DT超节点四季度上市,很多人都在期待DeepSeekV5能在昇腾上完成预训练。

我认为,如果这种深度适配英伟达硬件的模型都能迁移成功,就代表国产算力真正站上了顶级预训练的台阶。



当然客观来说,不是插卡就能跑,需要模型和芯片两边一起适配,对英伟达的依赖不会一下子清零。

算力是AI产业的底层地基,能不能把核心算力握在自己手里,直接决定我们AI产业未来的上限。



美团的成功证明国产算力这条路走得通,DeepSeek能不能落地昇腾预训练,就是一块含金量极高的试金石。

这条路还有不少硬骨头要啃,但方向明确、脚步扎实,国产算力的突围,才刚刚进入关键阶段。







特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
华为的恩情,10辈子都还不完?华为粉的一句吹捧,评论区立刻清醒

华为的恩情,10辈子都还不完?华为粉的一句吹捧,评论区立刻清醒

谭谈社会
2026-06-08 16:32:22
江浙沪,被托举的一代开始崩溃了

江浙沪,被托举的一代开始崩溃了

二胡的岁月如歌
2026-11-20 22:12:12
同样13胜3负的战绩,湖人和76人根本不在一个档次!

同样13胜3负的战绩,湖人和76人根本不在一个档次!

林子说事
2026-11-21 03:04:41
新《条例》审议通过 上海打车不再“烧心”?

新《条例》审议通过 上海打车不再“烧心”?

看看新闻Knews
2026-11-21 09:08:50
11月21日俄乌:“熊之陷阱”毙伤800俄军,特朗普希望尽快签署和平协议

11月21日俄乌:“熊之陷阱”毙伤800俄军,特朗普希望尽快签署和平协议

山河路口
2026-11-21 20:00:37
钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

墨策讲历史
2026-11-04 22:47:01
中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

巷北楠猫本尊
2026-11-19 12:30:32
A股又现财务造假大案!监管拟重罚3400万元,年内股价大跌超70%,公司致歉

A股又现财务造假大案!监管拟重罚3400万元,年内股价大跌超70%,公司致歉

华夏时报
2026-11-21 18:33:02
越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

无情有思可
2026-11-19 08:11:29
以色列正直党领导人埃森科特:若组建执政联盟失败将寻求建立“紧急政府”

以色列正直党领导人埃森科特:若组建执政联盟失败将寻求建立“紧急政府”

财联社
2026-11-21 02:14:37
南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

纸鸢奇谭
2025-01-17 14:30:03
省委书记会场示意我离场,中央调令送达后,全场震惊我赴京城履新

省委书记会场示意我离场,中央调令送达后,全场震惊我赴京城履新

千秋文化
2026-09-26 20:24:16
建国后,为何把"六大名著"变成"四大名著"?被淘汰的两部家喻户晓!

建国后,为何把"六大名著"变成"四大名著"?被淘汰的两部家喻户晓!

谭老师地理大课堂
2026-10-31 07:06:53
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
乌克兰亏麻了?克里米亚大桥遇袭后,基辅4座桥梁遭导弹命中!

乌克兰亏麻了?克里米亚大桥遇袭后,基辅4座桥梁遭导弹命中!

霁寒飘雪
2026-11-21 07:12:20
9个经济体的GDP不如深圳一个市?这届APEC,让全球重新认识了中国

9个经济体的GDP不如深圳一个市?这届APEC,让全球重新认识了中国

随遇而安之心
2026-11-21 19:31:03
《两京十五日》口碑井喷,本是冲着成毅来的,却被49岁女配角惊艳

《两京十五日》口碑井喷,本是冲着成毅来的,却被49岁女配角惊艳

观察鉴娱
2026-11-21 10:23:27
出差时我和女上司共度春宵,她一个月后突然离职,一个月后民警找上门:我们有件事想找你聊聊

出差时我和女上司共度春宵,她一个月后突然离职,一个月后民警找上门:我们有件事想找你聊聊

爱恨故事集
2026-11-20 17:13:24
勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

冷月小风风
2026-11-21 11:05:13
泽连斯基在柏林开口要1150亿欧元,特朗普却问:是不是浪费钱?

泽连斯基在柏林开口要1150亿欧元,特朗普却问:是不是浪费钱?

砚底沉香LIU
2026-11-20 23:08:32
2026-11-21 20:52:49
呼呼历史论
呼呼历史论
分享有趣的历史
769文章数 18748关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
健康
本地
家居
手机

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版