从“乐谱”到“交响乐演出”：大EP集群推理演绎跃迁之道

经历了喧哗与骚动之后，“DeepSeek时刻”的含金量还在继续提升。如果说“第一乐章”的主题是全民试用，掀起了AI一体机的狂澜，那么“第二乐章”则进入规模化应用落地阶段，集群推理解决方案成为业界焦点。

从市场需求的维度看，无论ToC还是ToB领域，都已被高性能、低成本、轻量化的新一代大模型深度“圈粉”，加量、扩容的倾向日益凸显。由于DeepSeek在算力、算法、数据层面均取得积极成果，能满足不同行业智能化升级的纷繁要求，促使越来越多尝到甜头的客户推动生产系统与AI加速融合，增强集群推理能力迫在眉睫。

就大模型技术的演进趋势而言，“大量小专家”模式更有助于人工智能的普惠平权，大规模跨节点专家并行（简称大EP）渐成集群推理新潮流。大EP的核心理念是将专家（Expert）分布到更多的卡上，并显著提升单卡并行的路数(batch size)，每个专家计算路数的增加可改善矩阵乘的效率，进而达成更大的吞吐和更低的时延，为集群推理系统指明了发展方向。

当市场需求与技术潮流同频共振，大EP集群推理有望迎来全面爆发的时间窗。但不容忽视的是，大规模专家并行也会带来负载不均、卡间通信耗时占比高等诸多挑战，仅靠大模型单打独斗无法解决横亘其间的所有障碍，唯有与算力底座协同进化，才能实现集群推理的全方位跃迁。

正是在这样的背景下，华为昇腾大EP推理解决方案脱颖而出，在多专家负载均衡、通信优化等方面取得重大突破，为驱动千行百业数智化转型奠定坚实基础。这标志着大EP将从备受瞩目的“乐谱”变成恢宏壮丽的“交响乐演出”，集群推理的新乐章掷地有声、余音绕梁。

直面痛点探索大EP推理的算力新路径

在整个AI产业链中，算法与算力总是在彼此互动的过程中实现螺旋式上升。伴随大模型的MoE（混合专家）结构从“少量大专家”向“大量小专家”转变，对集群推理的吞吐和并发能力提出前所未有的严苛要求，探索崭新算力路径堪称首要任务。

尽管大模型的风向标已发生转换，但对过往强势算力的路径依赖仍然存在。由于众所周知的原因，国际巨头只能面向中国市场推出所谓定制版的芯片，在稠密模型的长序列推理任务场景下尚可展现一定的性能优势，也因此赢得部分市场份额。

然而，技术迭代的进程不可逆转，定制版芯片的硬件设计缺陷已成“阿克琉斯之踵”。特别是在高batch size场景下，其性能极易触及瓶颈，时延大幅增加，难以充分发挥DeepSeek专家并行机制所具备的高吞吐优势，再叠加供应链的不确定性等因素，寻找替代方案可谓当务之急。

作为国内自主创新算力的开路先锋，昇腾在硬件系列产品、使能框架以及推理引擎等层面拥有强大的竞争优势，其精心打造的大EP推理解决方案得到行业客户的高度认可——依托多专家负载均衡和极致通信优化，可显著降低显存占用，单卡并发能力提升3倍以上，Decode时延降低50%+，在大幅节省部署成本的同时让客户体验更上层楼。

尤值一提的是，除了满足互联网、金融、电力、运营商等头部行业的集群部署需求，昇腾还为很多从AI一体机向大EP集群推理过渡的客户铺路架桥：通过交换机进行参数面互联，并基于现有组网架构完成软件升级，客户即能实现从8卡、16卡向百卡、千卡的跨越，不仅有利于达成开疆扩土的目标，而且满足高并发、低延迟的业务需求，为大规模的AI应用创新保驾护航。

驱动大EP推理从“乐谱”变成“交响乐演出”

从某种意义上讲，DeepSeek更像一位作曲家，以“大量小专家”为音符写下了集群推理新“乐谱”；而昇腾则扮演了提供“乐器”、协调“乐手”、促成“演出”的重要角色，为大规模跨节点专家并行解决方案的真正落地铺平道路，一场大珠小珠落玉盘的“交响乐演出”由此拉开帷幕。

MoE负载均衡是促进“乐队”成员密切协作、保障“演出”效果的核心基石。借助自动寻优、自动配比、自动预测、自动降解等关键技术，昇腾大EP解决方案实现备份节点和副本专家灵活可扩展，并达成高可用和极致均衡的目标，有效化解“小专家”任务权重和工作量不均衡的难题，扫除了行业客户深化集群推理的后顾之忧。

自适应PD分离部署是增强“交响乐”震撼力和现场张力的不二法门。传统方案通常采用PD同节点部署，计算访存资源存在竞争，后来的PD静态分离方案虽能提升系统资源利用率，但还不足以适应动态调整的场景。华为创新autoPD分离部署方案，自适应感知负载变化，可自动伸缩P、D实例，并结合多级缓存内存资源池化，提升系统有效吞吐50%+。

双流/多维混合并行是“琴瑟和鸣”、“声情并茂”的助推利器。昇腾大EP解决方案采用Prefill micro-batch双流并行，在Prefill阶段拆分成两组更细粒度的Batch，使计算和通信相互掩盖，收益达20%+；MoE expert专家双流并行基于共享专家和路由专家计算独立，利用Cube和Vector计算单元做并行计算，性能增强10%+；Weight预取双流并行利用L2 Cache大容量，通信和权重加载借助两条Stream并行，降低权重加载时间，提升matmul算子性能。

MLAPO融合算子是促成“多声部”融汇划一的最佳路径。在MLA预处理阶段，传统方案崇尚多算子串行，频繁占用内存、通信等资源，整体计算耗时占比高；昇腾大EP解决方案则采用MLAPO融合算子技术，将小算子融合成单一算子，Vector和Cube计算并行处理，降低计算耗时70%。

AI产业创新的“另一条路”愈发清晰

纵观IT产业几十年来的演进轨迹，会发现国内企业鲜有机会参与游戏规则的制定，在市场竞争中往往因缺乏话语权和主动权而处于被动地位，改变既有格局殊为不易。

方兴未艾的AI产业提供了新的可能性，以DeepSeek和华为昇腾为代表的自主创新力量已分别在算法和算力上取得突破，再加上庞大市场与丰富场景的助力，开辟“另一条道路”的时机业已成熟。

事实上，透过DeepSeek与昇腾多次达成“Day 0”级的同步更新，即可感受到产业链各个环节的自发协同已深入人心。以大EP推理为例：DeepSeek基于MTP核心思想在Token预测方面颇有建树，显著增强推理能力；而昇腾亦支持MTP且不断优化，提升大模型推理效率最大1.8倍，其自研的 DraftDecoding算法使多用户并发提高2倍，为大EP集群推理迈向纵深筑牢根基。

当然，探索“另一条道路”总是充满艰辛，路径依赖的强大惯性容易让人对所谓定制版产品产生“可用且实用”的幻觉，殊不知已陷入“温水煮青蛙”的险境，甚至可能错失技术创新的黄金机遇期。抛弃幻想，直面挑战，构建自主创新的AI产业体系，才是通往数智新世界的大道。

站在更开阔的视角，昇腾AI通过基础软硬件持续进化，正在成为加速大模型技术和应用创新落地的“最优解”。在满足多场景需求、落地经济性和业务可闭环等方面，昇腾借助“方案+性能+生态”多管齐下，树立起一座座值得业界借鉴的里程碑。未来路阻且长，自主创新的各方力量共心协力，谱写精彩华章可期。

作者关健，《IT创事记》合伙人、主笔：曾任《电脑商报》常务副社长兼执行总编、《中国计算机报》助理总编，媒体从业时间超过10年。

关健长期关注科技产业动态及趋势，与逾百位高科技公司领导者进行过对话，亦在众多科技会议与论坛中担任嘉宾主持。

—— 越看越精彩 ——

【IT创事记】聚焦于企业级科技生态、策略及商业知识。你可以在各主流媒体平台看到IT创事记的同名文字专栏和【IT创事记·短视频】专栏。如果你有相应的内容希望分享，记得在公众号留言告诉我们。