持续升级！京东云JoyScale实现行业最多元国产异构算力调度

近日，京东云JoyScale AI算力平台能力再升级，实现行业最多元国产异构算力调度，支持10+家国产AI算力卡，20+训练推理框架，也是目前业界唯一同时支持英伟达显卡和昇腾NPU远程调用的算力平台，为AI应用的高效运行提供强大的算力支持。

AI深度应用开启，市场需要AI Native的算力平台

随着AI应用深入，对基础设施带来了一系列全新的技术挑战，都指向需要一套AI Native的AI算力平台。

一方面，以CPU为中心的架构在支持AI原生应用方面存在棘手的问题，需要以GPU为中心重塑基础设施，在国内还需要解决GPU本身型号多样带来的异构问题。另一方面，应用的深化激发了更多推理的需求，计算资源持续增加，企业需要思考资源投入产出的问题，希望智算资源像过去一样得到极致的效率。此外，GPU国际供应链风险加剧，金融、政务等领域AI算力国产化替代加速，算力还需满足合规要求。

面向大模型训练、推理的算力需求，京东云推出全新的JoyScale AI算力平台——以GPU为核心，高效异构算力调度，强大推理性能。

全面升级，JoyScale实现行业最多元国产算力异构调度

JoyScale AI算力平台，是基于京东内部统一GPU池化实践打磨的同源同栈AI基础设施算力平台，支持训练任务和推理服务统一调度和资源共享，支持10+家国产AI算力卡，20+训练推理框架，也是目前业界唯一同时支持英伟达显卡和昇腾NPU远程调用的算力平台。

它具备四大核心优势：

极致算力性能。行业领先的内核态池化引擎，提供多卡聚合、单卡切分、多机多卡集群化调度、推理加速等差异化能力，满足大参数模型集群化部署要求，JoyScale作为通过信通院最高等级双认证的AI算力平台，可以满足金融级数据安全、性能和稳定性要求，整体推理性能提升50%。

高效异构算力调度。JoyScale全面适配十余家国产算力，兼容适配昇腾、寒武纪、海光等多种国产加速卡，支持异构算力统一纳管、精细化运维，云原生AI调度能力，极致提升AI任务部署密度，整体资源利用率提升70%。

深度国产AI生态合作。京东云和众多国产芯片厂商深度合作，互相开放运行时Runtime层代码，通过GPU/NPU切分池化技术，从内核层屏蔽异构厂商硬件的复杂性，实现更高效的AI算力。

支持超20种AI训推框架。训练框架支持PyTorch、TensorFlow、DeepSpeed，MindSpore等；推理框架支持vllm，sglang，MindIE，triton，TensorRT-LLM等。

3、极致性能调优，支持大模型在国产卡高效运行

JoyScale AI算力平台，基于极致的性能调优目标，攻克了主流模型在国产卡上运行的技术难点并形成解决方案，作为业界唯一同时支持英伟达显卡和昇腾NPU远程调用的平台，实现了应用与算力的分离，让底层异构算力得以彻底池化，能够根据上层AI应用的实际需求，灵活地按需分配算力资源。

在调度优化方面，JoyScale通过调度算法，在国产服务器卡互联拓扑结构上，兼容原有英伟达NVLink上的优化，兼顾算法任务性能、集群利用率与业务运行。通过智能识别CPU NUMA和网络拓扑，确保任务被分配到最优的计算和网络资源上，最大化任务的执行效率。

在资源利用率方面，JoyScale通过让国产GPU/NPU与英伟达/AMD共同遵循资源队列机制，既可有一定资源的保障量，同时可共享集群空闲资源，给用户提供更灵活的计算资源，实现更高的集群资源利用率。

在模型优化方面，通过GE图编译优化和ATB高性能算子技术，对Paged Attention、Flash Attention等操作进行深度优化，实现整图下发能力，通过算子setup、下发、计算实现流水线并行，有效隐藏了算子调度开销。并通过Prefill/Decode分离技术，KV cache等缓存技术减少重复计算，有效提高多模态场景推理速度。

在软硬协同优化方面，通过对热点算子进行精细调优，实施锯齿Attention、动态输入拼接、全子图下发，以及重计算流水线的独立调度和自适应重计算等深度优化措施，实现了百卡 MFU达60%。同时，通过权重更新通信隐藏、CoC计算通信并行和多机间RDMA通信等技术，达到了百卡扩展系数0.93，实现了千亿至万亿参数模型训练的近线性横向扩展。

当前，基于京东集团复杂场景实践，京东云构建了一站式大模型产品矩阵，从底层的智算基础设施，到中间层的模型服务和工具，再到上层的Agent应用开发，支持企业快速部署大模型及应用。同时，凭借在京东内部场景千锤百炼的深度应用经验，打造出的极致性能、极致性价比的技术与产品，助力更多企业重塑AI生产力。

本文源自：金融界资讯