山东
IT之家 10 月 27 日消息，高通公司今日发布其新一代数据中心 AI 推理优化解决方案：基于高通 AI200 和 AI250 芯片的加速卡和机架。
高通 AI200 推出一款专为机架级 AI 推理设计的解决方案，旨在提供低拥有总成本（TCO）和优化的性能，用于大型语言和多模态模型（LLM、LMM）推理和其他 AI 工作负载。每张卡支持 768GB 的 LPDDR 内存，以实现更高的内存容量和更低的成本。
高通 AI250 解决方案将采用基于近内存计算（near-memory computing）的创新内存架构，通过提供超过 10 倍的内存带宽提升和降低功耗，为 AI 推理工作负载带来更高的效率与性能。
这两种机架解决方案均采用直接液冷技术以提高散热效率，支持 PCIe 扩展、以太网扩展、机密计算以保障 AI 工作负载安全，以及 160 kW 的机架级功耗。
高通的超大规模 AI 软件栈，从应用层到系统软件层覆盖端到端，专为 AI 推理进行了优化。该栈支持领先的机器学习（ML）框架、推理引擎、生成式 AI 框架，以及 LLM / LMM 推理优化技术（如解耦合服务）。开发者可借助高通技术的 Efficient Transformers Library 和高通 AI 推理套件，实现模型的平滑上载和 Hugging Face 模型的一键部署。高通的软件提供即用型 AI 应用和代理、全面的工具、库、API 和服务，用于 AI 的运营。
高通 AI200 和 AI250 预计分别于 2026 年和 2027 年商用。
截至IT之家发文，高通公司股价大涨 20%。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
