网易首页 > 网易号 > 正文 申请入驻

华为徐直军:Peerium架构与灵衢总线,让百万颗处理器成为一台计算机

0
分享至

《科创板日报》10月6日讯(记者 黄心怡)在上海举行的华为全联接(HC)大会期间,华为轮值董事长徐直军与海思首席科学家廖恒,就华为新发布的AI时代的Peerium计算架构和灵衢总线(UnifiedBus),与媒体记者进行了问答交流

今年HC大会期间,华为展出了昇腾950和Atlas 950超节点。徐直军表示,“超节点”如今被广泛提及,但不同厂商实现差异很大,真正的挑战在于让数千、数万颗处理器组成一台计算机。华为将这一全新计算架构命名为Peerium,它能让百万颗处理器成为一台计算机。目前,华为正部署和测试25.6万张卡规模的Atlas 950 SuperPoD超节点。

廖恒认为,未来两年内,预计中国将出现约6至7个前沿AI实验室,目标都是训练参数规模在10万亿到40万亿之间的基础语言模型。这些数字与超节点的内存容量和规模大致匹配,因此需要如此规模的基础设施来做训练。

华为昇腾950芯片推出PR和DT两个版本。其中,昇腾950PR芯片已于2026年第一季度正式发布并上市,主要面向推理场景。徐直军透露,该芯片上市量不算大。而基于950DT的超节点主要用于训练,目前还在测试中,规模供货应该在今年年底或明年初。

“我们和各家模型厂商做了很多沟通交流,从目前测试结果来看,950DT 的训练表现非常不错,我相信从明年开始,大量模型的训练会构筑在 950DT超节点上。未来关键可能不在于我们推动的力度有多大,而在于我们的供货能力有多大。现在能产多少就供多少,我们希望产业链加快扩产,快一点、多产一点。”徐直军称。

徐直军表示,目前昇腾满足国内市场需求还远远不足,所以没有全面拓展海外市场的计划。但确有少数国家做了测试和供给,但量非常少。在中国市场要统计英伟达的市场占有率很难,但如果从华为能够统计到的数据看,昇腾应该已经超过了英伟达。

当前,AI算力推动光通信持续向“超高速、高能效、全光化”演进,NPO商业化加速、CPO多技术路线并行。针对路线选择,徐直军表示,华为很早就达成共识做NPO,没做CPO。“而且我认为,在相当长时间里,从工程实现、成本、维护、良率等角度讲,NPO都是最佳选择。”

华为不久前发布了基于NPO的Hi-ONE模组,支持7.2T高带宽。徐直军表示,光引擎距离主芯片仅约5厘米,只有这部分还需要铜线做电连接,基本可以说是全光的超节点。同时,Hi-ONE模组把光源直接封装进模组内部,实现内置光源。我们预计,未来两到三年内都很难有其他厂商能做出来。这是华为多年来在光电相关领域的积累,才得以实现和量产。

廖恒表示,全光互联最大的障碍是对可靠性的担忧,因为器件会发生故障。目前大多数厂商选择外置光源路线,用单个光源馈送32路信号,功率就必须放大32倍。如此巨大的功率很容易引发许多问题,在耦合接口及其他各个环节都会出问题。我们选择内置光源方案,是出于工程上的务实选择,Hi-ONE正是经过多次权衡后达成的出色折中方案,很快将进入量产阶段。

以下为交流摘要全文:

徐直军:非常感谢大家来参加媒体沟通会,我有很长一段时间没有跟媒体朋友们沟通了,今天很高兴和大家相聚交流,主要聚焦在我们开创AI时代的计算架构和灵衢协议。

去年HC大会上,我在主题演讲中发布了昇腾芯片及其路标(950、960、970、超节点与集群解决方案),并宣布开放灵衢协议。

今年HC大会上,华为展出了昇腾950和Atlas 950超节点。"超节点"如今人人都在讲,但不同厂商实现的差异很大。去年我曾一再强调,超节点的真正挑战,是让数千、数万颗处理器组成一台计算机。

今天展出的基于950芯片的超节点,背后正是我们开创的全新计算架构。它能让百万颗处理器成为一台计算机。我们将这一架构命名为Peerium,它是基于嵌套并行、统一内存寻址、平等互联实现百万级处理器强扩展的计算架构,突破了图灵范式的串行,提出了Nested BSP。

同时,它也突破了冯・诺依曼单机架构,颠覆了长久以来的主从架构。但现有技术无法支撑这一架构的实现,为此我们发明了关键互联技术——灵衢,最终实现让百万级处理器真正成为一台更大的计算机。

灵衢是基于一个开放协议、可无限扩展地联接CPU、NPU、内存、SSD、网卡和交换机的高速总线。有了灵衢,计算、存储、网络得以平等互联,从而彻底颠覆原有的主从架构。

Atlas 950超节点就是华为采用Peerium计算架构的产品,目前25.6万卡规模的集群已经在部署和测试中。

问:廖博论文里面写的25.6万张卡组成一个超节点,这是该技术的上限吗?目前整体市场需求情况如何?

廖恒:25.6万或约20万这个数字,并不是随便定的。

首先,这类大型集群用于训练,硬件基础设施需要支撑基础模型训练,而目前模型参数规模已达到5万亿级别。

未来两年内,预计中国将出现约6至7个前沿AI实验室,目标都是训练参数规模在10万亿到40万亿之间的基础语言模型。这些数字与超节点的内存容量和规模大致匹配,因此需要如此规模的基础设施来做训练。

第二,在中国,大多数数据中心都接入了国家电网。考虑到单个区域、单个数据中心园区的电力输送系统设计,20万是一个相对保守的数字。

正如我所说,大家一定对全球范围内正在发生的AI模型竞赛非常熟悉。在中国,至少有3到4家一线参与者已获得广泛认可,并达到了一线地位。

问:华为接下来将如何推动中国的模型厂商将昇腾系列芯片用于训练?

徐直军:950率先推出的是PR版,主要面向推理,目前上市量不算大。基于950DT的超节点则主要用于训练,目前还在测试中,规模供货应该在今年年底或明年初。我们和各家模型厂商做了很多沟通交流,从目前测试结果来看,950DT的训练表现非常不错,我相信从明年开始,大量模型的训练会构筑在950DT超节点上。未来关键可能不在于我们推动的力度有多大,而在于我们的供货能力有多大。现在能产多少就供多少,我们希望产业链加快扩产,快一点、多产一点。

问:现在美国部分领先模型厂商呼吁放缓AI产业的发展,对此华为怎么看?

徐直军:从中美AI发展的水平和节奏来看,中国的模型基本都是开源的,相对而言,发展到哪一步也是透明的;而美国几家主流模型厂商由于拥有更强大的算力,到底发展到了哪一步,目前可能只有他们自己知道。他们感受到的AI风险,在中国可能感受并不强烈。中国现在还是要加快自己的节奏,等真正能够感受到这种风险时,或许会与美国头部模型厂商有同样的感觉。但我一直认为,AI既要发展又要管控风险,要让AI"向善",而不是"向恶"。

问:950超节点目前有没有在海外扩展的计划?如果有的话,会在哪些市场上开展?国内市场份额情况如何?如何看待芯片自主化率的问题?

徐直军:目前昇腾满足国内市场需求还远远不足,所以没有全面拓展海外市场的计划。但确有少数国家非常需要,我们做了测试和供给,但量非常少。

在中国市场要统计英伟达的市场占有率很难,但如果从我们能够统计到的数据看,昇腾应该已经超过了英伟达。

中国推进芯片自主化是一条必然之路。中国有14亿人口,又是一个工业化大国,所有的生活、工作都与芯片相关。中华民族又是一个忧患意识很强的民族,不能一直受制于人,不能今天被说卖一颗给你,明天又说不卖给你。尽管水平差一点、先进性差一点,但解决"有无"问题,不要天天提心吊胆,应该是必然之路。相信无论是中国政府还是中国产业界,包括华为在内,推动芯片的全面自主化、推动半导体产业整个链条的全面自主化,肯定是一条必由之路,而且我也相信总有一天会变为现实。

问:华为推出了灵衢互联技术,是基于在计算和通信领域的长期积累,其中有多少是来自华为网络部门的贡献?

徐直军:UB不仅仅是华为网络部门的贡献,我们在各种各样的互联协议基础上,最终将其做成一个统一协议。网络领域一般是IP协议,时延都很高。计算互联和传统网络不一样,我们提的是总线,需要低时延、超高速。当时在决策做这个产品时,我们将其放在计算部门而不是传统的网络部门,这样才能真正做出一个高速、低时延、又统一协议的UB出来。

廖恒:如果把UB看作一群人的智慧结晶,它是由计算机架构师孕育,但是由网络技术抚养长大。

问:UB是一个同时兼顾Scale-out和Scale-up的技术。英伟达分别做了NVLink和InfiniBand。为什么华为把Scale-up和Scale-out做成一个技术?这和现在其他方案相比有什么优势?

徐直军:首先,不是他们不做,而是能不能做出来的问题。当前最新的NVL72柜内带宽很宽,达到1.8TB/s,但一出柜就降到0.2TB/s。要把百万台处理器变成一台计算机,柜间如此低的带宽根本不可能。大家都希望柜内、柜间、数据中心之间乃至跨区,速度最好都一样,那才能让一个巨大的物理空间成为一台计算机。这正是UB的价值,它基于一个统一协议,做到全程高速互联。因此UB技术路线上做的是总线,就像计算机内部的总线一样,而不只是Link。基于UB,我们的柜间带宽最高可达800GB/s。

去年我们开放UB协议后,最大的下载量其实来自硅谷。英伟达最早的目标可能不是做NV72,而是NV256,但最终它的256变成了72;而华为的910C超节点做到了384,还交付了一千多套。最主要的差别在于,我们在910C超节点上采用了UB,而当时英伟达的NVLink主要局限于柜内,柜间网络速度太慢,不可能扩展太多。

廖恒:我补充一下为何采用单一协议。英伟达及大多数其他厂商至少使用了两种协议,分别应对不同的场景,就像一次旅行往往要同时选择飞机、高铁、汽车等多种交通工具,转换过程相当麻烦费时。而在这些超节点中,大量流量需要中转,如果从NVLink切换到InfiniBand,至少涉及微秒级的转换时间,即从一个协议到另一个协议的中转时间,时延很难满足。

UB采用统一协议,将数据包从scale-up网络传输到scale-out网络,可能只需要大约150纳秒。相比而言,与这些协议转换开销至少可节省一个数量级。

问:在采用灵衢总线(UB)的Atlas950中,Scale-up场景下光互联和电互联分别占多少?未来柜内有没有可能全部实现光互联,主要障碍是什么?

徐直军:华为刚刚发布了基于NPO的Hi-ONE模组,支持7.2T高带宽,光引擎距离主芯片仅约5厘米,只有这部分还需要铜线做电连接,基本可以说是全光的超节点。同时,Hi-ONE模组把光源直接封装进模组内部,实现内置光源。我们预计,未来两到三年内都很难有其他厂商能做出来。这是华为多年来在光电相关领域的积累,才得以实现和量产。

廖恒:在我职业生涯初期,20年多前我们就已经在讨论让芯片连接走向光学化。因为光的传输距离和衰减非常小,信号可以高速传输更远。

从电路角度看Hi-ONE内部其实非常简单,器件并不多。但走向量产这条路,我们走得非常艰难:光学技术涉及大量物理原理,温度稍微变化,就会影响二极管的物理特性,改变折射率,影响波导性能,导致无法正常工作。

我认为全光互联最大的障碍是对可靠性的担忧,因为器件会发生故障。目前大多数厂商选择外置光源路线,用单个光源馈送32路信号,功率就必须放大32倍。如此巨大的功率很容易引发许多问题,在耦合接口及其他各个环节都会出问题。我们选择内置光源方案,是出于工程上的务实选择,Hi-ONE正是经过多次权衡后达成的出色折中方案,很快将进入量产阶段。

问:关于昇腾芯片的工艺和产能问题,目前限制产能进一步释放的主要瓶颈是哪些环节?华为预计还需多久可以实现大规模稳定的算力芯片供应?

徐直军:中国的瓶颈问题与全球瓶颈问题基本一致。全球产业界都没有为AI如此浪涌式的发展做好准备。现在所有光模块公司、存储公司之所以能卖高价,并不是因为产品有多好,而是严重供不应求所致。因此,只有全球和中国同时达到供需平衡,瓶颈问题才能彻底结束。我预计全球的供需平衡差不多在2029年能得到解决,中国可能还要慢一点。这里的供需平衡,还要考虑AI发展过程中不断发生的技术变化,包括CPO、NPO等。

从华为的角度讲,相比过去的通信、IT产业,现在我们的供应量已具备相当规模;但如果和当前产业对AI基础设施的需求相比,规模确实又远远不够。要实现客户要多少就能供多少,华为要达成这个平衡,取决于整个中国产业界的平衡。

问:有报道说马来西亚正在考虑基于华为昇腾910C来部署主权AI,华为如何来平衡国内客户和海外客户的需求?

徐直军:从客户部署华为解决方案的选择来看,肯定是基于地缘政治和多供应商的考量。每个企业都要为其长远发展消除安全风险,因此昇腾必然是所有客户的一个选项,尽管相比竞争对手它还有差距。至于平衡国内与海外,我们的原则很简单:国内为主,优先供应急需算力的中国客户;海外则服务于少数买不到的客户,或一定要另一个选择的客户。

问:华为在NPO、CPO这两个技术路线上,当时内部选择或者博弈是什么?

徐直军:这个问题在华为好像没有过争论。因为华为既做光器件,又做光模块和昇腾芯片,清楚哪种情况才是最佳选择,所以我们很早就达成共识做NPO,没做CPO。而且我认为,在相当长时间里,从工程实现、成本、维护、良率等角度讲,NPO都是最佳选择。

经过产业界这几年关于NPO、CPO的辩论,从两次OIF的讨论来看,产业认知也在进一步清晰。OIF第一次讨论时,有一部分厂家不支持NPO,一心要搞CPO;而最近一次NPO立项时,反对的已经寥寥无几。相比CPO方案,NPO的铜线连接有5厘米左右,比CPO的5毫米左右要长一点,但带来了成本接近40%的下降,同时还带来另一个好处,即一旦光引擎出问题,不会把整个AI芯片一起报废。当然,CPO和NPO并不是谁消灭谁的问题,而是工程、成本、产业链、维护等各个方向上平衡的选择,没有对错。

所以,我们坚定不移走NPO的道路,推动产业界形成标准,全产业链共同把NPO发展好,但也不是说CPO不行。在OIF上NPO得到了40家产业链厂商的支持,应该来讲,大家也看到了NPO的好处。

问:模型厂商对于950DT用在模型训练上,给华为反馈了哪些需要改进的领域和问题?华为对大模型的预训练做了哪些芯片和底层方面的调整和优化?

廖恒:此前昇腾芯片遇到的第一个障碍其实并非硬件本身,而主要是生态壁垒。就在两年前,昇腾软件层面仍存在巨大障碍,而CUDA在这方面显然具有压倒性优势,因为整个学术界都是伴随CUDA成长起来的,所有算法开发者都已习惯了PyTorch加CUDA的便利。

过去18个月发生了巨大变化。首先,模型的数学复杂程度发生了巨大变化,编程复杂度也随之增加。其次,模型正变得非常细粒度,这意味着无法再仅用PyTorch编写程序并保持效率。因此,即便是算法开发者,也必须转向超大规模内核的编程风格,需要新的编程语言,这已经是前沿实验室的发展方向。

如今,随着新的编译器语言出现,它们正在逐步取代并平衡CUDA的壁垒,前沿实验室已不再像两年前那样重视CUDA。这是软件层面的壁垒消解。我认为我们正在接近甚至达到平衡,差距已大幅缩小。

其次,关于芯片本身,我们拥有自身优势,正如我讲到的UB和Nested BSP模型。这不仅是对单个芯片编程,更是以便捷的方式对大量芯片编程,我们正在提供这些能力。而在芯片内部,我们也吸取了此前的教训,做出了大量改进。

整体上,我们正在缩小英伟达与昇腾之间的差距。我认为如今主要差异已大幅缩小,当人们使用这些处理器开发时,不再感到陌生。

问:关于UnifiedBus技术,这是国内在先进制程受限情况下走出的中国特色路线,还是未来全行业都可能的方向,英伟达也有可能往这个方向走吗?

徐直军:UB是一条创新之路,我认为也是未来AI计算的必由之路。

因为只有UB这种互联技术,才能实现百万级处理器的巨大计算机。而上百万的处理器像一台计算机一样工作,才能真正实现更好、更高效率的训练和推理,所以它是必由之路。相信过不了几年,大家都会朝着这条路走。

为什么开放UB协议?就是因为相信整个产业界会朝着这条路线走。这样,为AI走向AGI,需整个产业界共同努力。廖博为什么以论文形式公布Peerium计算架构,也是因为这一创新架构就是AI时代的计算架构。960只是节奏变快了,规格和我去年讲的一样;HBM是在960里面的,没有HBM的进步,也没有960的进步。

今天UB互联技术是整个Peerium计算架构实现的基础。无论是UB互联技术还是Peerium计算架构,我们都认为是AI时代的未来之路。

我多次讲过,在单芯片上,我们的设计没有任何问题,只是仍受制于国内的工艺。但将多芯片互联起来成为一台计算机,我们已经处于全球领先的地位。这是基于架构的创新和互联技术的创新,而且这些研究工作不是在制裁后才开始的,而是在制裁之前就开始了。第一颗AI芯片以及华为的整个AI战略,是我在2018年HC大会上发布的;2019年,我们发布了超节点和集群。自那以后我们就认为,AI要支撑大规模的训练和推理,需要新的架构、新的互联技术,也是从那时开始不断投入研究、不断创新,才有了今天讲的创新计算架构和UB互联技术。

我相信现在产业界面临的问题都是一样的。在多卡计算系统中,MFU(模型浮点算力利用率)是很关键的指标。大模型训练过程中,突然一个卡故障,或一个卡性能忽然下降,都会对训练造成巨大损失。

基于UB互联技术、基于Peerium计算架构做出的超节点和集群,可以大幅提升MFU,这已经被验证了。这也是头部模型厂商采用昇腾950训练最喜欢的一点。我们还能提供原厂服务,让提升MFU更有保障,训练成本反而降低,训练迭代速度加快。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
重磅!巴特勒,要挑战整个NBA……

重磅!巴特勒,要挑战整个NBA……

体育新角度
2026-10-23 12:28:40
欧洲展出一具“人体标本”,国人看后无不愤恨:这是中华女英雄!

欧洲展出一具“人体标本”,国人看后无不愤恨:这是中华女英雄!

小豫讲故事
2026-10-22 06:00:16
西藏那曲市巴青县发生7.0级地震 胡昌升连夜抵达索县人民医院看望受伤群众

西藏那曲市巴青县发生7.0级地震 胡昌升连夜抵达索县人民医院看望受伤群众

环球网资讯
2026-10-23 07:48:15
太缺德了!6.7元订单标注仅1kg,取货却是四箱矿泉水,浙江骑手吐槽“盲盒订单”,引发大量共鸣

太缺德了!6.7元订单标注仅1kg,取货却是四箱矿泉水,浙江骑手吐槽“盲盒订单”,引发大量共鸣

火山詩话
2026-10-23 06:11:53
山西女篮重磅官宣:国家队后场核心王思雨加盟 联手李月汝争冠

山西女篮重磅官宣:国家队后场核心王思雨加盟 联手李月汝争冠

醉卧浮生
2026-10-23 10:38:43
领先29分遭逆转!米切尔32+10+3,赛后哈登走过去,一把抱住恩比德

领先29分遭逆转!米切尔32+10+3,赛后哈登走过去,一把抱住恩比德

担酒
2026-10-23 10:06:02
深圳个人破产案例爆火!男子负债158万申请个人破产,五年还款29.4万,剩余债务可豁免,评论炸锅

深圳个人破产案例爆火!男子负债158万申请个人破产,五年还款29.4万,剩余债务可豁免,评论炸锅

火山詩话
2026-10-22 09:06:52
沪指跌逾2% 科创50跌超3%

沪指跌逾2% 科创50跌超3%

每日经济新闻
2026-10-23 10:18:06
ES9“四连冠”,持续性比爆发力更重要

ES9“四连冠”,持续性比爆发力更重要

汽车观察AUTO
2026-10-17 10:00:09
今年国产高端已经完了,苹果彻底卖爆了

今年国产高端已经完了,苹果彻底卖爆了

六子吃凉粉
2026-10-23 12:20:41
17岁少年手持菜刀威胁28岁舅妈:“让我睡一次,不然死给你看!”

17岁少年手持菜刀威胁28岁舅妈:“让我睡一次,不然死给你看!”

四海神君
2026-10-21 12:00:04
5300平方公里大火 烧穿了日本的傲慢

5300平方公里大火 烧穿了日本的傲慢

看看新闻Knews
2026-10-22 23:31:13
21岁男子身亡,10多人接力没救回来

21岁男子身亡,10多人接力没救回来

中国新闻周刊
2026-10-23 12:38:07
从PC王者到AI巨头,60亿人见证联想品牌跃迁

从PC王者到AI巨头,60亿人见证联想品牌跃迁

一点财经
2026-10-22 20:03:34
我是一根柱子,在“地球最强SUV”的撞击中,活了下来且只是轻伤

我是一根柱子,在“地球最强SUV”的撞击中,活了下来且只是轻伤

News脑洞
2026-10-23 10:51:48
公交改革来了!财政不再全部兜底,以后乘车、老年优惠会变吗?

公交改革来了!财政不再全部兜底,以后乘车、老年优惠会变吗?

混沌录
2026-10-22 22:47:13
中土网民掀起史诗级骂战,全球震惊了

中土网民掀起史诗级骂战,全球震惊了

凤眼论
2026-10-22 15:13:34
iPhone Duo 开售首日,西湖苹果店门口黄牛感叹:“发售半小时,没有成交一单……”溢价大幅减少,有商户说“加价1000元左右即可拿机”

iPhone Duo 开售首日,西湖苹果店门口黄牛感叹:“发售半小时,没有成交一单……”溢价大幅减少,有商户说“加价1000元左右即可拿机”

都市快报橙柿互动
2026-10-23 10:24:14
局势升温!454票压倒性通过对华强硬决议,中国须做好最坏准备

局势升温!454票压倒性通过对华强硬决议,中国须做好最坏准备

泠泠说史
2026-10-22 11:10:10
沪指盘中失守3600点关口

沪指盘中失守3600点关口

界面新闻
2026-10-23 09:53:34
2026-10-23 13:23:00
科创板日报 incentive-icons
科创板日报
上海报业集团主管主办
82693文章数 44684关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

高梓淇向女友求婚,被女方父母接受

财经要闻

娃哈哈集团董事长许思敏离职

汽车要闻

泊车有绝学 新手亦高手 全新第四代博越L泊车篇

态度原创

手机
教育
数码
旅游
军事航空

手机要闻

微信为适配iPhone Duo紧急更新 网友晒图直言有黑边不完美

教育要闻

日常英语:厨房的味道也会影响别人

数码要闻

入门卡溢价超60%!RTX 50系价格彻底崩坏:5050、5060 Ti仅差500元

旅游要闻

衡阳上新免费打卡点 邂逅秋日田园童话

军事要闻

美国或于明年开始扩建格陵兰岛军事设施

无障碍浏览 进入关怀版