高通发布AI200和AI250 赋能高速生成式AI推理

近日，高通公司宣布，推出面向数据中心的下一代AI推理优化解决方案：基于Qualcomm AI200与AI250芯片的加速卡及机架系统。高通称，依托公司在NPU技术领域的优势，这些解决方案提供机架级性能与卓越的内存容量，能够以出色的每美元每瓦特的高性能赋能高速生成式AI推理，为推动各行业可扩展、高效率、高灵活性的生成式AI部署树立重要里程碑。

据了解，Qualcomm AI200带来专为机架级AI推理打造的解决方案，旨在为大语言模型（LLM）与多模态模型（LMM）推理及其他AI工作负载提供低总体拥有成本与优化性能。每张加速卡支持768GB LPDDR内存，实现更高内存容量与更低成本，为AI推理提供卓越的扩展性与灵活性。

Qualcomm AI250解决方案将首发基于近存计算（Near-Memory Computing）的创新内存架构，实现超过10倍的有效内存带宽提升并显著降低功耗，为AI推理工作负载带来能效与性能的跨越性提升。该架构支持解耦式AI推理，实现硬件资源的高效利用，同时满足客户性能与成本需求。

两款机架解决方案均支持直接液冷散热，以提升散热效率，支持PCIe纵向扩展与以太网横向扩展，并具备机密计算，保障AI工作负载的安全性，整机架功耗为160千瓦。

高通公司高级副总裁兼技术规划、边缘解决方案和数据中心业务总经理马德嘉表示，凭借Qualcomm AI200与AI250，高通正在重新定义机架级AI推理的可能性。这些创新的AI基础设施解决方案能够让客户以业界先进的总体拥有成本部署生成式AI，同时满足现代数据中心对灵活性与安全性的要求。“我们拥有丰富的软件栈与开放生态支持，能够支持开发者和企业更加轻松地基于我们的优化AI推理解决方案，集成、管理并扩展完成训练的AI模型。基于与主流AI框架的无缝兼容性和一键模型部署功能，Qualcomm AI200与AI250旨在支持无缝应用与快速创新。”

此外，高通表示，超大规模级AI软件栈，覆盖从应用层到系统软件层的全链路，专为AI推理优化。该软件栈支持主流机器学习（ML）框架、推理引擎、生成式AI框架，以及解耦服务等LLM/LMM推理优化技术。开发者可通过高通技术公司的高效Transformer库（Efficient Transformers Library）与 Qualcomm® AI Inference Suite，实现模型无缝接入及Hugging Face模型的一键部署。相关软件则可提供开箱即用的AI应用与智能体、完善工具、库、API接口及AI运营化服务。

据悉，Qualcomm AI200与AI250预计将分别于2026年和2027年实现商用。高通表示，未来，将致力于按照年度迭代节奏，持续推进公司数据中心产品技术路线图，聚焦业界先进的AI推理性能、能效与总体拥有成本优势。