AMD Strix Halo对线Nvidia DGX Spark，谁最强？

公众号记得加星标⭐️，第一时间看推送不会错过。

虽然大多数 GenAI 模型都是在大型数据中心集群中进行训练和运行的，但如今在本地构建、测试和原型化 AI 系统的能力仍然非常重要。

直到最近，这还需要高端的多GPU工作站，价格通常高达数万美元。随着Nvidia在10月份推出基于GB10核心的DGX Spark，这一现状得以改变。虽然性能远不及后者，但凭借128GB的显存，该系统本质上是一个内置的AI实验室，几乎可以运行任何AI工作负载。

正如我们在之前的上手体验中所提到的，Spark 并非市面上首屈一指的选择，甚至也不是最便宜的。AMD 和苹果也提供配备大容量统一内存的系统，这些内存由 CPU 和 GPU 共享，这使得它们在人工智能开发者和爱好者中广受欢迎。

AMD 的 Ryzen AI Max+ 395 APU（为简洁起见，我们之后简称其为“Strix Halo”）尤其引人注目。Strix Halo 的售价仅为 Spark 的四分之三到一半，并且它基于与 AMD 数据中心产品大致相同的 ROCm 和 HIP 软件栈。这为从桌面到数据中心的迁移提供了一条更清晰（尽管未必完全无缝）的路径。

为了了解 Strix Halo 与 Spark 的性能对比，惠普送来了Z2 Mini G1a工作站，以便我们能够了解这些 TOPS 小型盒子在各种 AI 工作负载中的表现，从单用户和批量推理到微调和图像生成。

系统概述

首先你会注意到，惠普这款产品比Spark大得多。部分原因是英伟达选择了通过USB-C接口连接的外置电源适配器，而惠普则选择了稍大一些的机箱，并将电源集成在了一起。

我们通常更喜欢惠普的做法，尤其是因为更大的机箱可以容纳更强大的散热解决方案，尽管 Spark 的做工和质感明显比另一款更胜一筹。

Spark 采用全金属机身，兼具散热功能；而 G1a 则更像是惠普的产品，其外观简洁，虽然外壳是塑料材质，但内部却是坚固的金属机箱。这种设计理念的优势在于其便捷的维护性。打开 G1a 非常简单，只需按下机器背面的按钮，然后滑开顶盖即可。

然而，由于这两款机器都采用板载 LPDDR5x 内存，因此实际上并没有太多可做的改动。惠普这款机器配备了两个标准的 2280 PCIe 4.0 x4 M.2 固态硬盘，用户可以自行更换。

相比之下，Spark 更像一台家用电器，不过它的 SSD 也可以通过移除系统底部的磁性板和四个螺丝来更换。

机器内部有两个鼓风机，从前面吸入冷空气，然后从后面排出。如果你好奇的话，G1a 的双 M.2 SSD 就位于这些风扇的正下方，这应该可以防止它们在高负载下过热。

在机器背面，我们可以看到惠普在 I/O 方面采用了与英伟达截然不同的方法。

从左到右，我们可以看到一个 2.5 GbE RJ45 接口、四个标准 USB 接口（2 个 10 Gbps，2 个 USB 2.0）、两个 40 Gbps Thunderbolt 接口以及两个 mini DisplayPort 接口。在机器侧面，你会找到一个 3.5 毫米耳机/麦克风二合一接口和两个额外的 10 Gbps USB 3.0 接口，分别采用标准 USB 和 USB-C 接口。

您还会注意到两个空白区域，可以配置任意数量的 HP Flex IO 模块，包括串行、USB 和千兆、2.5 GbE 或 10 GbE 端口。

与此同时，Spark 优先考虑多节点 AI 计算环境的高速网络连接。电源按钮旁边是四个 USB-C 端口，最左侧的端口用于供电。显示输出方面，它配备了一个 HDMI 端口、一个 10GbE RJ45 网络端口以及两个 QSFP 模块，通过系统板载的 ConnectX-7 网卡，可提供总计 200Gbps 的网络带宽。

这些端口旨在实现多个 Spark 或其他 GB10 系统的集群化，使用与数据中心相同的硬件和软件。

据我们了解，您还可以将 G1a 的 Thunderbolt 端口用作高速网络接口，将多个系统互连在一起，尽管我们无法测试这种使用场景。

需要说明的是，这两款系统都不是各自芯片组中最便宜的选择。DGX Spark 的零售价为 3,999 美元，而惠普 Z2 Mini G1a 的配置价格目前约为 2,950 美元。

如果你愿意在存储、连接或 I/O 方面做出妥协，你可以找到配置类似的 GB10 和 Strix Halo 盒子，价格要便宜得多。

惠普、华硕和其他一些厂商都有Spark的OEM版本，1TB存储容量的起价约为3000美元。我们也见过售价略高于2000美元的128GB Strix Halo系统，不过内存短缺似乎推高了价格，而且你也会错过一些企业级功能，例如“Pro”版本芯片提供的远程管理或内存加密。

所以，如果您对这两款系统中的任何一款感兴趣，但又觉得价格偏高，或许可以从其他厂商那里找到更优惠的价格。就GB10系统而言，除了外观之外，您并没有损失太多，毕竟它只是厂商贴牌产品，而非创始版。

CPU性能

在我们深入探讨生成式人工智能的性能（我们认为大多数人都会关心这一点）之前，我们想花点时间谈谈这些机器各自的 CPU。

Strix Halo 是一款相当有趣的处理器。与桌面级处理器类似，它拥有 16 个完整的 Zen 5 核心，分布在两个核心复合体芯片 (CCD) 上，最高主频可达 5.1 GHz。这些 CCD 通过先进的封装技术与一个 I/O 芯片连接，该芯片负责内存、PCIe 和图形处理。

Z2 Mini G1a 实际上使用了 Pro 版本的芯片，增加了许多硬件安全和管理功能，这对于在批量或敏感环境中部署这些系统的企业来说可能很有吸引力。

与此同时，Spark 的 GB10 Grace Blackwell 超级芯片采用与联发科合作开发的 Arm CPU 芯片，包含 10 个 X925 性能核心和 10 个 Cortex A725 能效核心，总共 20 个核心。

虽然这些核心的速度并不慢，但在我们有限的测试中，AMD 的 Zen 5 微架构在我们的 Sysbench、7zip 压缩/解压缩和 HandBrake 转码工作负载中提供了 10% 到 15% 的性能提升。

然而，在代表众多高性能计算工作负载的 Linpack 高性能基准测试中，G1a 的双精度浮点运算性能是 Spark 的两倍多，达到了 1.6 teraFLOPS，而 Spark 的双精度浮点运算性能为 708 gigaFLOPS。需要注意的是，该成绩仅使用 X925 核心获得，启用 A725 核心进行测试反而降低了性能，这表明性能可能还有提升空间。

虽然 GenAI 的性能很大程度上依赖于低精度 GPU 浮点运算能力，但 Strix Halo 更强大的 CPU 可能会使其成为那些寻求能够运行 GenAI 模型的 PC 而不是 AI 设备的用户的更灵活的选择。

GenAI 性能

接下来我们来谈谈 GenAI，我们应该花点时间讨论一下这两个系统所宣称的性能表现。

尽管英伟达声称其人工智能计算能力可达 petaFLOPS，但实际上大多数用户永远无法达到如此高的水平。原因很简单：要达到如此高的性能，需要结构化稀疏性，而这种特性对推理工作负载几乎没有任何益处。

因此，Spark 的峰值性能实际上更接近 500 teraFLOPS（稠密浮点运算/秒），而且仅适用于能够利用 FP4 数据类型的工作负载。通常情况下，这意味着 Spark 实际上会以 8 位或 16 位精度运行，从而将峰值性能分别限制在 250 teraFLOPS 和 125 teraFLOPS。

持续性能通常会略低于理论值。在最大可达矩阵乘法浮点运算 (MAMF) 基准测试中，我们对 GB10 进行了测试，在 BF16 下达到了 101 teraFLOPS，在 FP8 下达到了 207 teraFLOPS。

那么，G1a 搭载的 Strix Halo 处理器表现如何呢？嗯，这里我们看到了 AMD 的一个最大弱点。虽然 AMD 声称其顶级 Strix Halo SKU 的平台性能可达 126 TOPS，但你很难找到任何一款应用能够充分利用这一性能。其中 50 TOPS 由 NPU 提供，而 NPU 需要专门的软件才能发挥其性能——稍后会详细介绍。剩余的 TOPS 则由 CPU 和 GPU 共同提供。

Strix Halo 的 GPU 性能不容小觑。据我们估计（AMD 并未公布该芯片的峰值浮点性能），这款 GPU 在《战地16》中的峰值性能约为 56 万亿次浮点运算/秒 (teraFLOPS)。在 MAMF 测试中，我们达到了约 82% 的性能，即 46 万亿次浮点运算/秒，这同样相当不错。

但由于该 GPU 基于 AMD 较旧的 RDNA 3.5 架构，因此它不支持 Spark 提供的低精度数据类型。

从技术上讲，该架构确实支持 INT8，但性能与 BF16 基本相同。理论上，它应该能达到 112 TOPS 的 INT4 性能，但关键在于找到能够以这种精度进行计算的软件。16 个不同的值提供的粒度实在太小了。

从理论上讲，这使得 Spark 在原始 AI 计算能力方面比 Strix Halo 具有 2.2-9 倍的性能优势。

虽然我们在测试中反复验证了这一点，但计算能力只是 GenAI 的一个方面。另一个方面是内存带宽。根据您的使用场景，它甚至可能使 AMD 和 Nvidia 系统之间的性能差距变得无关紧要。

LLM推断

我们将首先讨论大型语言模型 (LLM) 推理，因为它恰恰说明了为什么更多的 TOPS 和 FLOPS 并不总是能转化为更好的 AI 性能。

为了保持一致性，我们的大部分测试都在 Linux 系统下进行：HP 系统上运行的是 Ubuntu 24.04 LTS，Nvidia 系统上运行的是经过轻微定制的发行版 DGX OS。

仅从 Llama.cpp（在消费级 CPU 和 GPU 上运行 LLM 的最流行框架之一）的单批处理性能来看，我们可以看到 GB10 和 Strix Halo 以类似的速度生成令牌，而 AMD 设备在使用 Vulkan 后端时略占优势。

在单用户场景下，令牌生成通常会受到内存带宽的瓶颈限制。GB10 声称拥有约 273 GB/s 的内存带宽，而 AMD 的 Strix Halo 则拥有约 256 GB/s 的内存带宽。

这或许就是许多人工智能爱好者对Spark刚推出时如此失望的原因之一。只需三分之二到一半的价格，你就能买到一盒Strix Halo，它生产代币的速度同样惊人。

然而，如果您查看“首次输入时间”这一列，就会发现 GB10 的 GPU 速度大约是 Strix Halo 的 2-3 倍，而这仅仅是在处理相对较短的 256 个输入框提示符时。随着序列长度的增加，这种差距会更加明显。这是因为提示符的处理往往很快就会达到计算瓶颈。

对于较短的提示或多回合对话，Llama.cpp 的提示缓存可以有效缓解这种性能不足。在这种情况下，在 AMD 平台上我们只需要多等待一两秒，考虑到 Strix Halo 较低的平均售价，那些只想在家运行 LLM 的用户或许可以忽略这一点。

对于那些工作负载需要将大型文档输入模型上下文的用户来说，Spark 更强大的 GPU 使其具有明显的优势，但客户需要权衡这一优势与其更高的价格之间的关系。

多批次性能

除了单批处理性能外，我们还测试了这两台机器在大批处理规模下的性能。用户通常会将任务批量处理，例如从一堆文档或电子邮件中提取信息，而不是按顺序逐个处理。

在这种情况下，我们使用 vLLM，根据我们的经验，它比 Llama.cpp 更能优雅地处理大批量和并发情况，而 Llama.cpp 则更适合单用户应用程序。此外，我们还使用Qwen3-30B-A3B-Instruct-2507的原生 BF16 精度，以避免量化开销。

为了检验机器的性能，我们让它们处理 1,024 个令牌的输入，并生成 1,024 个令牌的响应，批处理大小从 1 到 64 不等。

X 轴表示完成批处理作业所需的时间（以秒为单位），Y 轴表示每个批处理大小下每秒的总吞吐量（以令牌为单位）。

Spark 更快的图形处理器再次使其在性能上超越了 G1a。虽然这显然是 Spark 的优势，但除非你经常运行批处理作业，否则这种性能优势可能难以察觉，尤其是在你可以安排作业在夜间运行的情况下。批处理推理并非交互式操作，因此你可以轻松地离开，并在完成后再回来继续。

微调

当我们使用微调技术通过向模型展示新信息来教会它们新技能时，情况也类似。

微调需要大量内存，对于像 Mistral 7B 这样的模型，可能需要高达 100 GB 的内存。正如我们之前讨论过的，LoRA 或 QLoRA 等技术可以显著减少训练模型所需的内存。

Spark 和 G1a 这两个平台都提供高达 128 GB 的内存，因此都非常适合这种工作负载，尽管它们的速度并不特别快。

运行 Meta 的 Llama 3.2 3B 完整微调版后，我们发现 Spark 完成任务的时间大约是 G1a 的三分之二。然而，与 Radeon Pro W7900 或 RTX 6000 Ada 等工作站显卡相比，后者不仅拥有更高的浮点运算性能，还配备了速度更快的 GDDR6 显存，Spark 和 G1a 的性能则明显逊色。

真正有趣的地方在于，当我们开始研究如何在大型模型上使用 QLoRA 时。通常情况下，要在家中对 Llama 3.1 70B 这样的模型进行微调，需要多张工作站显卡。但由于它们拥有巨大的内存占用，使用 AMD 或 Nvidia 的显卡完全可以胜任这项工作。

使用相对较小的数据集（我们之前已经证明，这种规模的数据集足以用来调整模型的风格），性能表现更符合预期。G1a 完成任务耗时 50 多分钟，而 Spark 则只需 20 分钟左右。

对于使用更大数据库或 LoRA 排名的更大规模的微调作业，这很容易延长到数小时甚至数天，从而使 Spark 的性能优势更加显著。

但正如我们在多批次推理测试中讨论的那样，除非你经常对模型进行微调，否则 Spark 的更高性能可能并不值得付出比 HP、Minisforum、Framework 或任何其他迷你电脑供应商提供的类似配置的 Strix Halo 系统更高的价格。

图像生成

Spark 的高性能优势在图像和视频生成工作负载方面尤为显著。与微调类似，图像生成也是一项对计算和内存要求极高的工作负载，但通常不受带宽限制。

部分原因是图像模型不像线性模型那样容易压缩，否则会严重影响输出质量。因此，许多人更倾向于以原始精度运行这些模型，无论是 FP32、BF16 还是 FP8。

在 ComfyUI 中运行 Black Forest Lab 的 FLUX.1 Dev，我们的测试系统相对于其 16 位浮点性能，其扩展性几乎完全符合预期。

Spark 的 BF16 性能分别为 120 和 125 teraFLOPS，与 AMD 的 Radeon Pro W7900 大致相当，同时比基于 Strix Halo 的 G1a 领先约 2.5 倍，G1a 在我们的测试中实现了约 46 teraFLOPS 的实际性能。

不言而喻，图像生成显然不是 Strix 盒子的强项。

那么NPU呢？

得益于AMD收购赛灵思（Xilinx），其Strix Halo APU也配备了性能相当不错的神经网络处理单元（NPU）。这款XDNA 2 NPU能够额外提供50 TOPS的AI性能。当然，关键在于找到能够充分利用其性能的软件。大多数NPU应用场景都集中在降低音频和视频降噪、背景虚化以及光学字符识别等功能的功耗上。

然而，AMD和其他公司已经开始利用NPU进行生成式AI应用，但效果参差不齐。得益于Lemonade Server等应用，现在可以完全在NPU上运行LLM（逻辑逻辑模型）。除非你是为了节省电能，否则目前可能还不需要这样做。

截至撰稿时，模型支持较为有限，而且NPU似乎无法充分利用GPU的250 GB/s内存带宽。在Windows系统下，我们在NPU上运行Mistral 7B模型时，观察到解码性能仅为4-5 tok/s，而我们预期应该接近40 tok/s。

然而，AMD 显然在力推解耦推理的概念，即将计算密集型的提示处理卸载到 NPU，而将内存带宽密集型的解码阶段则由 GPU 处理。性能有所提升，但仍然不如直接在 GPU 上运行模型。

这种分散式设计对于功耗受限的笔记本电脑来说非常合理，但对于像G1a这样的台式机系统来说则不太适用。话虽如此，我们仍然很想看看AMD接下来会如何发展这项技术。

我们还成功地在Amuse（一款对初学者友好的图像生成软件）中运行了 NPU。AMD 最近为 NPU 添加了对直接运行 Stable Diffusion 3 模型的支持，在这种情况下，性能实际上比在 GPU 上运行相同的模型要好得多。

在 NPU 上运行，Amuse 能够在短短一分多钟内用 20 个步骤生成 1,024 x 1,024 的图像，而在 GPU 上运行同样的测试则需要大约两倍的时间。

需要指出的是，目前该集成功能相当有限，仅在初级模式下且性能滑块设置为“平衡”时可用。切换到“专家模式”会禁用NPU，强制模型在图形处理器上运行。

此次集成也仅限于稳定扩散3（Stable Diffusion 3），该技术如今已略显老旧，毕竟它发布至今已超过一年。不过，很高兴看到越来越多的应用程序利用NPU实现除视频通话背景虚化之外的其他功能。

英伟达的CUDA护城河正在变浅

在 AMD 和 Nvidia 的任何比较中，经常出现的一个卖点是软件兼容性，也就是 CUDA 护城河。

虽然几乎所有基于 CUDA 的软件都可以在 Spark 上毫无问题地运行，但这在基于 Strix Halo 的 G1a 上并不能得到保证。

CUDA 近二十年的发展历程不容忽视，但尽管 AMD 在 ROCm 和 HIP 库的软件支持方面一直落后于其他公司，但该公司在最近几个月取得了显著进展。

一年前，我们遇到了很多棘手的问题，比如一些库要么根本找不到，要么依赖于专门为 AMD 基于 CDNA 的数据中心芯片开发的衍生版本，这意味着它们无法在消费级平台上运行。如今，这个问题已经大大缓解。事实上，我们的大部分 PyTorch 测试脚本无需修改即可在 AMD 平台上运行。但是，如果说体验能像在 Spark 上那样流畅，那就太虚伪了。

很多软件都可以在AMD的消费级硬件上运行，但这并非总是像直接运行程序那么简单pip install xyz-package。我们仍然需要多次从源代码构建库，或者使用专门为Radeon GPU制作的分支版本——vLLM、BitsandBytes和Flash Attention 2只是其中的几个例子。

在许多情况下，尤其是在使用更贴近硬件的软件时，软件需要针对特定一代的Radeon显卡进行编译。Llama.cpp就是一个例子，我们需要针对特定gfx1151目标进行编译才能使软件运行。

无论使用哪个平台，处理这些依赖项都不是一件容易的事，因此很高兴看到 AMD 和 Nvidia 提供了预配置好的 Docker 容器，其中包含了您快速上手所需的一切。在我们的 vLLM 测试中，我们同时使用了红队和绿队的 vLLM Docker 容器，以确保获得最佳性能。

或许我们面临的最大软件挑战并非软件本身的问题。Strix Halo 基于 AMD 较老的 RDNA 3.5 架构，这意味着它不支持 Spark Blackwell GPU 提供的许多低精度数据类型。因此，我们经常被迫以 16 位精度运行模型，即使 FP8 或 FP4 更为理想。

AMD 的 RDNA 4 架构通过增加对稀疏性和 FP8 的支持，应该可以解决部分问题。然而，由于 MXFP4 等微缩数据类型占用内存更小、有效范围更广，目前业界正转向这些类型。

尽管 AMD 正在迅速缩小差距，但英伟达在硬件和软件方面仍然保持着显著的领先优势。

你们一直期待的答案来了

我们知道你们肯定会问。是的，这两台电脑都能运行《孤岛危机》。

在 1440p 分辨率、中等画质下，《孤岛危机：重制版》在 G1a 上能达到非常不错的 90-100 帧。这并不令人意外，因为惠普这款笔记本采用的是 x86 CPU 和来自一家在图形处理领域拥有悠久历史的公司的 GPU。

由于 GB10 采用的是 Arm CPU，而 Arm CPU 不支持 32 位指令集，因此在 DGX Spark 上运行这款游戏稍微复杂一些。好在我们最终借助名为 FEX 的工具成功运行了游戏。如果您感兴趣，可以在这里找到我们使用的安装脚本。

遗憾的是，我们无法在Spark上启用Steam性能显示，这意味着我们无法获得具体的性能指标。在中等画质设置下，即使不使用Nvidia的AI图像增强技术（实际上该技术在游戏中也有效），游戏也能流畅运行。

虽然你可以在 Spark 或其他 GB10 系统上运行游戏，但我们不确定是否会推荐它而不是 Strix Halo 主机或市面上许多更便宜的游戏 PC。

总结

哪种系统更适合您，实际上取决于您想要一台专门用于人工智能的机器，还是一台恰好能够运行您可能遇到的大多数人工智能工作负载的电脑。

我们怀疑，看到这里的大部分人可能都属于后一种情况。如果你打算花2000到4000美元买一台新电脑，我们认为期望它能做好不止一件事并不过分。

在这方面，惠普的 Z2 Mini G1a 是市面上比较好的选择之一，尤其适合那些主要关注单批次 LLM 推理而非微调或图像生成的用户。AMD 的 Strix Halo SoC 的计算能力可能不如英伟达的 GB10 系列，但它运行 Windows 和 Linux 系统都很流畅，而且无需任何额外设置即可畅玩您喜爱的游戏。

尽管性能存在差距，但对于为不断增长的 AI PC 领域构建应用程序的软件工程师来说，即使没有其他原因，基于 AMD 的系统仍然可能是更好的开发平台，原因仅仅是微软的 NPU 强制要求。

但对于那些真正想要一台用于原型代理、微调模型或生成文本、图像和视频内容的 AI 设备的人来说，Spark 或其 GB10 系列兄弟产品可能是更好的选择，前提是你能接受它的售价。

在我们的测试中，这台机器的性能始终比基于 AMD 的 HP 系统高出 2-3 倍，同时还受益于更加成熟活跃的软件生态系统。正如我们所展示的，在紧急情况下，您也可以在 Spark 上运行非 AI 工作负载，但这并非它的设计初衷。Spark 的本质是一个开箱即用的 AI 实验室，最适合作为 AI 实验室使用。

https://www.theregister.com/2025/12/25/amd_strix_halo_nvidia_spark/

（来源：编译自theregister）

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4268期内容，欢迎关注。

加星标⭐️第一时间看推送，小号防走丢

求推荐