天津
分享至
来源：滚动播报
腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库 HPC-Ops。在真实场景下，基于HPC-Ops，混元模型推理 QPM 提升30%，DeepSeek模型 QPM 提升17%。同时，在单算子性能方面，HPC-Ops实现Attention相比 FlashInfer/FlashAttention 最高提升2.22倍；GroupGEMM 相比 DeepGEMM 最高提升1.88倍；FusedMoE 相比 TensorRT-LLM 最高提升1.49倍。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
