高通重磅推出AI加速器，神秘机架引发行业热议

高通宣布了一些关于其进军AI数据中心市场的细节，推出了一对加速器及其机架级系统，全部专注于推理工作负载……

该公司透露的技术细节很少，仅表示AI 200每张卡支持768 GB的LPDDR内存，而AI250将提供“基于近内存计算的创新内存架构”，并且标志着“在AI推理工作负载的效率和性能上实现了一次代际飞跃，提供超过10倍的有效内存带宽和更低的功耗。”

高通将以预配置的机架交付这些卡，这些机架将使用“直接液体冷却以提高热效率，PCIe以扩展规模，以太网以扩展系统，保密计算以确保AI工作负载的安全，以及机架级功耗为160 kW。”

在5月，高通首席执行官Cristiano Amon发表了一些比较模糊的声明，称公司只会以“独特且颠覆性的产品”进入AI数据中心市场，并将利用其构建CPU的专业知识“考虑高性能、低功耗的推理集群。”

然而，Snapdragon 的公告中没有提到 CPU。它提到其加速器基于高通的“ NPU 技术领导地位”——这显然是指它在笔记本电脑和移动设备处理器中使用的 Hexagon 品牌神经处理单元。

高通最近推出的 Hexagon NPU 集成在 Snapdragon 8 Elite SoC 中，包含 12 个标量加速器和 8 个向量加速器，并支持 INT2、INT4、INT8、INT16、FP8 和 FP16 精度。

高通公告中最引人注目的信息是，其新 AI 产品“提供机架级性能和卓越的内存容量，以实现每美元每瓦特高性能的快速生成 AI 推理”，而且具有“低总拥有成本”。

这些表述针对人工智能操作员的三个痛点。

第一个痛点是人工智能应用的电力成本。

第二个痛点是高能耗带来的大量热量，这意味着数据中心需要更多的冷却设施，而这同样会消耗能源并增加成本。

第三个痛点是加速器可用的内存数量，这决定了它们可以运行哪些模型，以及在单个加速器上可以同时运行多少模型。

高通表示，其AI 200中集成的768 GB内存，明显超过Nvidia或AMD在其旗舰加速器中提供的内存。

因此，高通似乎在暗示其AI产品能够以更少的资源进行更多的推理，这种组合将吸引许多运营商，尤其是在AI工作负载逐渐被采纳的情况下。

高通还宣布了其新设备的客户，即沙特阿拉伯的AI公司Humain，该公司“计划在2026年开始使用200兆瓦的电力的高通AI200和AI250机架解决方案，以在沙特阿拉伯及全球提供高性能的AI推理服务。”

但是高通表示，预计AI250要到2027年才能上市。因此，高通的Humain公告和其他消息一样，难以评估，因为它省略了关于高通到底创造了什么以及它是否会真正与其他加速器竞争的重要细节。

高通的公告中也没有提到主要的超大规模云服务商是否对其设备表示过兴趣，或者它能否在本地运行。

然而，这一公告标志着高通在过去专注于CPU的尝试的失败后重返数据中心。投资者显然对这一新举措很看好，周一该公司的股价上涨了11%。