上海
分享至
3月11日，科大讯飞发布消息称，科大讯飞联合华为近日率先实现国产算力大规模跨节点专家并行集群推理。据其介绍，通过分布式架构创新与算法协同优化，单卡静态内存占用缩减至双机部署的1/4，效率提升75%，专家计算密度增加4倍，推理吞吐提升3.2倍，端到端时延降低50%。这一解决方案也将应用于讯飞星火深度推理模型的训练加速，预期训练时推理效率将提升200%。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
