这类DRAM，真的是救世主？

公众号记得加星标⭐️，第一时间看推送不会错过。

日前，JEDEC宣布了DDR5 MRDIMM（Multiplexed Rank DIMM）的新里程碑，包括发布新的JESD82-552 DDR5MDB02多路复用数据缓冲区标准、即将发布JESD82-542 DDR5MRCD02时钟驱动程序规范，以及MRDIMM Gen2模块标准即将完成。Gen2设计的目标速度高达12,800 MT/s，而MRDIMM Gen3（计划速度达到17,600 MT/s）的早期研发工作也已启动。

作为参考，第一代 DDR5 MRDIMM 平台目前的最高速度约为 8,800 MT/s，因此 12,800 MT/s 代表着内存带宽的一次重大飞跃；新规格的速度提升了约 45%。相比之下，即使使用 CUDIMM，标准消费级 DDR5 内存在 JEDEC 规范下的最高速度也远低于此，当然，发烧级套装可以通过 XMP 和超频进一步提升速度。我们目前的Core Ultra 9 285K 测试平台速度为 8733 MT/s。

但 MRDIMM 专为服务器、AI 系统和高性能计算 (HPC) 工作负载而设计，在这些应用中，内存带宽比绝对延迟更为重要。与普通桌面 UDIMM 不同，MRDIMM 使用额外的板载逻辑（特别是多路复用 Rank 数据缓冲区 (MDB) 和多路复用 Rank 时钟驱动器 (MRCD)）来提高信号完整性，从而在大容量服务器平台上实现更高的速度。这使得它们对于向 AI 加速器提供海量数据集的现代 Xeon 和 EPYC 系统来说尤其有用。

即使DDR6和LPDDR6即将到来，MRDIMM依然有其存在的价值。集成新的内存技术需要全新的内存控制器设计，而现代内存控制器IP模块的复杂程度堪比十年前的整个CPU。 MRDIMM 让内存制造商和服务器销售商能够在无需升级到最新内存标准的情况下，提升新机器的性能和容量，尤其是在产能仍在提升、良率较低的情况下。JEDEC最初发布的 MRDIMM 公告表明，DDR5 MRDIMM 可能会持续发展到 2030 年代，因此，至少在服务器领域，我们可能还需要一段时间才能真正用上 DDR6 内存。

如上所述，作为一种新型内存器件，MRDIMM能够在不提高 DRAM 芯片频率的情况下实现更高的带宽。那么，它真的是救世主吗？

在本文，我们对一台配备高端 MRDIMM 主内存的生产服务器进行了详细的性能、功耗和能耗评估。将内存系统从传统的寄存式 DIMM（RDIMM）升级到 MRDIMM，带宽提升了 41%，从而使带宽密集型工作负载的性能提升了 27% 至 41%。此外，延迟也降低了数百纳秒，这有利于对内存延迟敏感的各类工作负载。在相同的带宽利用率下，RDIMM 和 MRDIMM 的功耗相近。在 MRDIMM 扩展的带宽范围内，性能提升远超功耗增加，对于内存密集型工作负载，服务器能耗最多可降低 30%。

介绍

在传统的DIMM中，DRAM芯片和主机接口以相同的频率运行。多路复用DIMM（MRDIMM）在主机内存通道和DRAM芯片之间执行多路复用，使DRAM芯片能够以其原生数据速率运行，同时将内存通道频率提高一倍。这种简单的设计创新显著提高了内存性能、能效和容量——这些优势以前需要几代DRAM技术的扩展才能 实现。

本文探讨了将生产服务器从传统的 DDR5 RDIMM-6400 内存升级到高端 MRDIMM-8800 内存的影响。计划于 2026/2027 年推出的第二代 MRDIMM 内存预计速度将达到 12,800 MT/s 。MRDIMM 展现出两项关键性能优势：

首先，它们拓展了内存带宽范围。持续内存带宽提升了 41.3%，从约 500 GB/s 提升至 12×RDIMM–6400）至超过 700 GB/s（12×MRDIMM-8800）。带宽密集型工作负载可充分利用这一特性，实现 27% 至 41% 的性能提升；

其次，MRDIMM 可将内存访问延迟降低高达数十个百分点，即数百纳秒。在所研究的平台上，从内存空载到内存满载，延迟的改善在整个内存带宽利用率范围内均可见，因此可使各种对延迟敏感的工作负载受益。

早期研究报告显示，配备 MRDIMM 的服务器的功耗显著增加，这导致人们普遍认为， MRDIMM带来的性能提升是以显著的功耗为代价的。我们的功耗分析 区分了两个带宽区域：共享带宽区域（RDIMM和MRDIMM系统均可在此区域运行）和MRDIMM扩展带宽区域（由RDIMM升级到MRDIMM实现）。在大部分共享带宽区域内，MRDIMM在相同内存带宽利用率下表现出与RDIMM相似甚至更低的功耗。在MRDIMM升级解锁的性能区域内，系统功耗确实会增加。

然而，这种功耗增加是由更高的性能驱动的，而不是像人们通常认为的那样，是由MRDIMM本身功耗高造成的 。事实上，在MRDIMM扩展带宽范围内，性能提升远大于功耗增加，使其成为能效最高的运行区域。利用该区域的基准测试可将能耗降低 19% 至 30%。

MRDIMM 设计创新

图1：RDIMM/LRDIMM 和 MRDIMM 的架构比较：简单的 MRDIMM 设计改进可以显著提高内存控制器接口的内存带宽

存储设备的容量和性能从根本上受到信号完整性的限制，如图 1a所示 ，寄存器式 DIM（RDIMM）通过引入寄存器时钟驱动器（RCD）来提高信号质量  。它缓冲并重新生成来自内存通道的命令和地址信号，并将它们分发到DRAM芯片。

如图1b所示 ，在多路复用 DIMM（MRDIMM）中，每个子通道被分成两个独立的伪通道，分别具有独立的命令、地址和数据路径。来自独立伪通道的信号通过增强型寄存器时钟驱动器和多路复用数据缓冲器，从主机内存控制器时分复用到同一总线上 。

多路复用RCD（MRCD）将从内存控制器接口接收的信号进行解复用，例如以 12,800 MT/s 的速率运行，并同时向每个以 6400 MT/s 速率运行的 MRDIMM 伪通道提供独立的命令流和地址流。在数据通路上，复用数据缓冲区 (MDB) 执行内存通道和 DRAM 芯片之间的复用和解复用。

总而言之，MRDIMM 多路复用技术使 DRAM 芯片能够在保持其原生数据速率的同时，将有效内存通道频率提高一倍。

MRDIMM 的创新也实现了更高的容量。在目前的 RDIMM 设计中，每个 DIMM 扩展到两个以上的 rank非常具有挑战性，因为这会增加内存控制器的电负载，并给 CPU 到内存总线带来信号完整性方面的挑战。MRDIMM 通过在每个伪通道中部署两个 rank（图 1b中未显示）来克服这一限制，从而提供了一种简单且经济高效的方式来增加 rank 的数量和 DIMM 的总容量 。更高的内存容量，以及更高的单节点吞吐量，通常意味着服务器整合和更低的总体拥有成本。

MRDIMM 的一个关键优势在于它可以作为服务器内存升级的直接替代品。本文评估的服务器以及其他即将推出的 DDR5 CPU 和平台均支持 RDIMM 和 MRDIMM。因此，用户在初始设计和部署阶段无需在 RDIMM 和 MRDIMM 之间做出选择。这种灵活性贯穿服务器的整个生命周期，使数据中心能够在后续升级周期中需要更高内存性能时采用 MRDIMM 。

实验环境

我们研究了从 DDR5 RDIMM–6400 升级到 MRDIMM–8800 主内存，给双路 Intel Xeon 6980P ( Granite Rapids) 服务器的影响。

每个 CPU 包含 128 个核心，运行于延迟优化模式，最高频率为 3.2 GHz。CPU 配备 12 个 DDR5 内存通道，所有实验中每个通道均配备一个双列 DIMM。我们量化了运行速度为 8800 MT/s 的第一代 MRDIMM 设备的优势。为了确保性能、功耗和能耗的公平比较，我们评估了容量相同的 64 GB 的 RDIMM 和 MRDIMM。在本文中，我们以每个 CPU 插槽为单位报告性能、功耗和能耗测量结果。

使用一系列广泛的内存密集型基准测试来评估基于 RDIMM 和 MRDIMM 的系统的性能、功耗和能耗。性能测量基于每个基准测试定义的指标：STREAM 的持续内存带宽；HPCG 的每秒浮点运算次数；Intel MLC 的卸载内存延迟和 Google Multichase；以及最近发布的 Mess 基准测试的带宽-延迟曲线，Mess基准测试会生成复杂的内存流量模式，这些模式由每个核心内的顺序访问以及跨核心的内存请求交错决定 。为了验证我们在不同访问模式下的发现，我们使用 Mess-Random 基准测试重复了所有实验，该基准测试会在每个核心上生成随机流量。论文的所有结论均保持不变。

使用 RAPL 测量 DRAM 和 CPU 的功耗和能耗计数器。服务器总功耗使用 IPMItool 测量 。它通过基板管理控制器读取硬件传感器数据。

MRDIMM在整个内存带宽范围内

性能优于 RDIMM

图3中的水平柱状图 也显示了内存密集型基准测试的性能提升。对于 HPCG，我们使用类似⟨3⟩这样的尖括号，图 3 显示了基准测试在内存带宽-延迟曲线中的位置。因此，图 3将内存系统性能（带宽-延迟曲线）、基准测试的内存系统利用率（在曲线中的位置）以及性能提升（柱状图）联系起来。

将内存通道数据速率从 RDIMM-6400 提升至 MRDIMM-8800，理论内存带宽提升了 37.5%，从每通道 51.2 GB/s 提升至 70.4 GB/s。通过 Mess 基准测试测得的持续带宽提升高达 41.3%，略高于理论提升幅度，这得益于内存总线利用率的提高。带宽受限基准测试结果显示，如图 3所示，成功利用了更高的持续 MRDIMM 带宽，实现了 27%–41% 的性能提升。

在所研究的平台中，基于 MRDIMM 的内存系统在 RDIMM 和 MRDIMM 系统共同运行的整个带宽范围内均表现出更低的延迟。如图 3所示，由于排队开销更低，从 RDIMM 升级到 MRDIMM 的延迟优势随着带宽利用率的提高而增加，在内存饱和区域可达到百分之几十，即几百纳秒。

对延迟敏感的 Intel MLC 和 Google Multichase 基准测试，如图 3所示，基于 MRDIMM 的系统性能提升了 3%–4%，相当于空载内存访问延迟降低了约 5 ns。这一结果与直觉相悖，因为 MRDIMM 集成了多路复用数据缓冲区（图 1b），而这些缓冲区预计会引入额外的延迟

与 CPU 和内存供应商的讨论表明，这种现象并非源于 MRDIMM 固有的访问延迟，而是由于处理器在基于 RDIMM 和 MRDIMM 的系统中调度和处理内存请求的方式存在差异。具体而言，MRDIMM 中更高的内存通道频率和独立伪通道的存在减少了队列冲突，并提高了内存子系统中的有效并行性。这些优势使处理器能够利用更有效的延迟优化机制，从而在整个带宽范围内提升对延迟敏感的工作负载的性能。

功耗是否是必须付出的代价？

早期研究表明，配备 MRDIMM 的服务器功耗显著增加。Dravái 和 Reguly 评估了内存密集型高性能计算 (HPC) 基准测试，发现从配备 DDR5-5600 RDIMM 的 Intel® Xeon® Platinum 8592+ (Emerald Rapids) 服务器升级到配备 DDR5-8800 MRDIMM 的 Intel® Xeon® Platinum 6960P (Granite Rapids) 服务器时，DRAM 功耗和服务器总功耗均增加了约 50%。最近的一份在线报告也指出，在服务器从 RDIMM 升级到 MRDIMM 后，内存密集型应用的功耗也显著增加。这些观察结果导致人们普遍认为，MRDIMM 带来的性能提升是以显著的功耗为代价的。

我们详细的功耗特性分析揭示了更全面的情况，并支持对这些观察结果的不同解释。我们的分析区分了两个带宽区域：共享窗口（约 500 GB/s），RDIMM 和 MRDIMM 系统均可在此范围内运行，因此可以直接进行比较；以及 MRDIMM 扩展窗口（500–700 GB/s），这是通过 RDIMM 升级到 MRDIMM 实现的。

图 4 显示了基于 RDIMM（橙色）和基于 MRDIMM（蓝色）系统的 DIMM、CPU 和整个服务器的带宽-功耗曲线。柱状图显示了所研究基准测试的服务器功耗增加情况。基准测试在功耗曲线上的带宽位置（图 4 中未明确显示）与其在图 3 中的位置相对应。Google Multichase 和 Intel MLC 延迟测试位于内存未加载区域，而其余基准测试则充分利用了基于 RDIMM 和 MRDIMM 系统的可用内存带宽。

在内存未加载系统中，12 条 64 GB MRDIMM 的功耗比 RDIMM 高约 15 W，导致 Google Multichase 和 Intel MLC 延迟测试的功耗分别高出 4% 和 6%。这种增长很可能是由于 MRDIMM 内存条中额外的复用数据缓冲区（RDIMM 内存条所不具备）以及复用 RCD 的复杂性更高所致。

在 500 GB/s 以下的大部分共享带宽范围内，升级到 MRDIMM 内存条只会使服务器总功耗增加 10-20 W，这一增幅非常小，在图 4 的服务器带宽-功耗曲线中几乎无法察觉。这种微小的增长主要源于略高的 CPU 功耗（CPU 带宽-功耗曲线），这很可能是由于更高的内存控制器频率所致。

相比之下，在相同的内存带宽利用率下，MRDIMM 内存条的功耗与 RDIMM 内存条相同甚至更低：在共享带宽范围内，RDIMM 和 MRDIMM 内存条的带宽-功耗曲线几乎重合。如前所述，由于复用数据缓冲区和 RCD 的存在，MRDIMM 内存条需要额外的功耗。然而，MRDIMM-8800 设备中 DRAM 芯片以更低的频率（4400 MT/s）高效运行，弥补了这一功耗损失，而 RDIMM 的频率为 6400 MT/s 。

在 MRDIMM 扩展带宽范围内，服务器能够维持更高的内存带宽。正如预期的那样，这需要更高的功耗，这些功耗分布在 DRAM DIMM（20-35 W）、CPU（30-40 W）和其余服务器组件（低于 20 W）上。带宽受限基准测试中也可见功耗增加，如图 4 的柱状图所示，服务器功耗增加了 3%（HPCG）到 10%（LMBench Read）。

我们详细的功耗评估揭示了一个意想不到的发现：在内存带宽利用率最高的情况下，CPU 功耗降低了 20–35 W。图 4 中 CPU 和系统总功耗曲线的最右侧部分均显示了这一降低。这是首个报告此 CPU 功耗行为的研究，其详细分析是正在进行的工作的一部分。作为这项研究的初步步骤，我们确定了两个与功耗降低密切相关的因素。第一个因素是写入分配规避策略的激活，该策略允许高端 Intel CPU 在某些存储未命中时绕过缓存分配，尽管其架构模型是写入分配的。第二个因素是内存访问延迟的急剧增加，如图 3 所示。

能效

图 5 详细展示了基于 RDIMM 和 MRDIMM 系统的能效特性。图中显示了基于 RDIMM 和 MRDIMM 的系统在不同内存流量强度（x 轴）下的能效（单位为 GB/焦耳）。曲线基于 Mess 基准测试产生的内存流量，并结合了 DIMM、CPU 和服务器能耗计数器的测量结果。水平柱状图显示了由于从 RDIMM 系统升级到 MRDIMM 系统，内存密集型基准测试的能效提升。

在内存空载区域（~0 GB/s），配备 MRDIMM 的服务器的能效略低，但低不到 3%。这种差异非常小，在能效曲线中几乎无法察觉，但在 Google multichase 和 Intel MLC Latency 基准测试中，能效降低 1%~3% 的现象可以观察到。在共享带宽范围内，基于 RDIMM 和 MRDIMM 系统的能效曲线基本重合。在 MRDIMM 扩展带宽范围（500–700 GB/s）内，能效随着带宽的增加而持续提升，使其成为 DRAM、CPU 和整个服务器最高效的运行区域。带宽受限的基准测试能够充分利用这一运行区域，从而实现 18–30% 的更高能效。

成本与普及

我们的研究结果表明，MRDIMM 是一项极具前景的技术创新。然而，其在生产中的普及程度和速度也将取决于器件成本以及我们能否识别出能够从这项技术中获益匪浅的应用领域。

我们研究中评估的内存器件（64 GB RDIMM-6400 和 MRDIMM-8800）目前的零售价格几乎相同。我们还与一家主要的内存制造商讨论了即将推出的第二代 MRDIMM 器件的定价。尽管这些未来产品的具体定价数据尚未公布，但正如我们的研究量化结果所示，其在带宽密集型工作负载下显著的性能提升和更高的能效预计将足以对现代服务器的内存选择决策产生实质性影响。

即使下一代 MRDIMM 由于其更先进的缓冲和信号架构而以更高的价格进入市场，其新增功能仍然具有经济效益，尤其是在内存带宽或内存访问行为是主要瓶颈的工作负载中。除了内存带宽的提升，在诸如大规模人工智能推理、实时分析、金融科技系统和高性能计算等环境中，更高的单节点吞吐量通常可以直接转化为服务器整合。减少所需服务器的数量可以降低计算、网络、软件许可和数据中心占用空间方面的支出。考虑到这些系统级的成本节约，MRDIMM 可以显著降低总体拥有成本。

结论

本文对一台配备高端 MRDIMM 主内存的生产服务器进行了详细的性能、功耗和能耗评估。内存系统从传统的 RDIMM-6400 升级到 MRDIMM-8800，带宽提升了 41%，带宽密集型工作负载的性能提升了 27% 至 41%。此外，延迟降低可达数百纳秒，使对内存延迟敏感的各类工作负载受益。在相同的带宽利用率下，RDIMM 和 MRDIMM 的功耗相近。

在 MRDIMM 扩展带宽的范围内，性能提升远超功耗增加，对于内存密集型工作负载，服务器能耗最多可降低 30%。这种性能和能效的显著提升足以对现代服务器的内存选择产生重大影响，即使这些先进的内存设备价格较高。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4400内容，欢迎关注。

加星标⭐️第一时间看推送

求推荐