华为云Tokens服务全面接入384超节点

8月28日消息，在第四届828 B2B企业节开幕式上，华为云宣布其Tokens服务全面接入CloudMatrix384超节点，通过xDeepServe架构创新，单芯片最高可实现2400TPS、50msTPOT的超高吞吐、低时延的性能。

今年3月，华为云正式推出了基于MaaS的Tokens服务。针对不同应用、不同场景的性能和时延要求，还提供了在线版、进线版、离线版乃至尊享版等多种服务规格，为大模型、Agent智能体等AI工具提供了更为灵活、便捷、低成本的先进算力。

而这一次，华为云的Tokens服务正式接入CloudMatrix384，并通过384原生的xDeepServe框架再次实现了吞吐量的突破，从年初的1920TPS提升至2400TPS，TPOT仅为50ms。

大算力的构建不是单点突破，而是一个从硬件到软件、从算子到存储、从推理框架到超节点的全栈创新，充分依托了华为的“大杂烩”能力。

首先，CloudMatrix384超节点以全新的计算架构创新，突破性能瓶颈，构筑稳固澎湃的算力根基； CANN昇腾硬件使能，优化算子与高效通信策略，让云端的算力能够以最高效的方式被调用和组合；EMS弹性内存存储打破AI内存墙，突破性地实现“以存强算”， 彻底释放了每一颗芯片的算力；xDeepServe 分布式推理框架则以极致分离架构Transfomerless让超节点释放出更高效算力。

作为CloudMatrix384超节点的原生服务，xDeepServe以Transformerless 的极致分离架构，把MoE大模型拆成可独立伸缩的 Attention、FFN、Expert三个微模块，相当于在一台CloudMatrix384上把“大模型”拆成“积木”，并分派到不同的NPU上同步处理任务。之后，再用基于内存语义的微秒级XCCL通信库与FlowServe 自研推理引擎把它们重新拼成一个超高吞吐的LLM服务平台，即Tokens的“超高速流水线”。通过xDeepServe不断调优，最终实现了从非超节点单卡吞吐600tokens/s至超节点单卡吞吐2400tokens/s的提升。

作为硬件加速计算的中间层，CANN包含多个算子库和和XCCL这种高性能通信库等组件，共同支撑AI模型的高效运行。其中，XCCL作为专为超节点上的大语言模型（LLM）服务而量身打造的高性能通信库，能够充分发挥CloudMatrix384扩展后的UB互联架构（UB fabric）的全部潜力，为 Transformerless的全面分离奠定了带宽与时延双重硬底座。

而作为被重构的“去中心”式分布式引擎，FlowServe把CloudMatrix384切成完全自治的 DP 小组，每个小组自带 Tokenizer、执行器、RTC 缓存与网络栈，完全自给自足，做到千卡并发也不“拥堵”。

目前，xDeepServe已实现MA分离，而下一步，将把Attention、MoE、Decode全部改成自由流动的数据流，并把同样的拼图方法复制到多台超节点，让推理吞吐像铺轨一样线性延伸，最终或将视线吞吐量的更大突破，让每块 NPU 都高效运作，芯片永不排队，推理永不塞车。

目前，华为云MaaS服务已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify、扣子等主流Agent平台。

在应用层，华为云已与超过100家伙伴携手深入行业场景，共建丰富的Agent，在调研分析、内容创作、智慧办公、智能运维等领域解决产业难题，让企业更便捷地拥抱AI创新，加速智能化。（崔玉贤）

本文来自网易科技报道，更多资讯和深度内容，关注我们。