浙江
分享至
除了 AMD 与红帽合作开发面向Gen AI 的全新 llm-d 开源项目外，AMD 和红帽今日还宣布，双方将进一步合作，为 AI 工作负载提供开源 GPU/加速器支持。AMDInstinct 加速器现已在红帽 OpenShift AI 上全面启用。
AMD Instinct MI300X GPU 也可与红帽企业 Linux AI 配合使用，同时双方还致力于与上游 vLLM 社区进一步合作，以进一步增强开源 AI 推理能力。
Red Hat 和 AMD 将在以下领域开展合作：
AMD GPU 性能提升：通过上游 AMD 内核库并优化 Triton 内核和 FP8 等各种组件，Red Hat 和 AMD 正在提升密集模型和量化模型的推理性能，从而能够在 AMD Instinct MI300X 加速器上更快、更高效地执行 vLLM。 增强的多 GPU 支持：改进集体通信和优化多 GPU 工作负载为更具可扩展性和节能性的 AI 部署打开了大门，这对于需要跨多个 GPU 进行分布式计算的工作负载尤其有益，可减少瓶颈并提高整体吞吐量。 扩展 vLLM 生态系统参与：Red Hat、AMD 以及 IBM 等其他行业领导者之间的交叉合作有助于加速上游开发，推动 vLLM 项目和 AMD GPU 优化的持续改进，进一步使依赖 AMD 硬件进行 AI 推理和训练的 vLLM 用户受益。
AMD Instinct 也将获得 Red Hat AI 推理服务器的支持。
如果您对 AMD 和 Red Hat 的最新合作感兴趣，请关注今天的新闻稿，了解更多详情。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
