d-Matrix押注内存计算技术突破AI推理瓶颈

AI推理正在成为单一最大的计算工作负载。长期以来，像OpenAI这样的AI服务提供商一直声称他们主要受到计算可用性的限制。即使这些公司建设大规模、高耗能的数据中心来运行训练和推理工作负载，对优化硬件和软件解决方案的需求仍然存在。

与此同时，不仅是前沿AI实验室关注运行这些模型的成本，越来越多的企业也希望完全控制自己的AI堆栈。

开放推理模型在2025年成为主流。这些模型与Anthropic、Google和OpenAI等公司的前沿模型竞争力日益增强。因此，运行专注于特定领域的小型微调模型现在比购买大型通用模型的API访问更加容易且具有成本效益。

运行这些模型存在巨大市场，毫不意外地，我们现在也看到硬件方面的大量创新，尽管这些公司通常需要几年时间才能将推理芯片推向市场。

d-Matrix最近完成了2.75亿美元的融资，该公司通过摆脱标准GPU架构来解决这个问题。该公司的Corsair平台并不像许多同行那样仅仅在原始浮点运算能力上竞争，而是押注专门设计用于突破内存瓶颈的异构架构。

正如d-Matrix首席执行官Sid Sheth在本月早些时候的采访中指出的，他有些幸运没有成为大约十年前开始的第一批AI芯片公司的一部分。当时，卷积神经网络（CNN）是最先进的技术，大多数人认为视觉加速和类似工作负载是这些芯片的杀手级应用。但当Sheth和Sudeep Bhoja在2019年创立d-Matrix时，他们很快意识到不想只是成为另一个计算机视觉加速器。

曾在英特尔从事早期奔腾处理器工作，后来在其他多家半导体和网络公司工作的Sheth看到，英伟达已经拥有了AI训练领域。

Sheth表示，到2019年，英伟达实际上已经赢得了训练的王冠。"除非你有实质性的差异化，否则尝试在那里做些什么将是愚蠢的差事，"他说。

相反，团队决定问自己，如果能从零开始构建，一个新的、高效的推理硬件平台会是什么样子。当然，d-Matrix并不是第一家这样做的公司。毕竟，Google已经构建了好几代张量处理单元（TPU），AWS也有其Trainium芯片（尽管名称如此，现在也针对推理进行了优化）。

d-Matrix团队决定专注的领域是计算核心和内存之间的连接。现代大语言模型需要大量的计算能力和快速的内存访问来生成Token，但分离计算和内存会引入延迟并创建潜在的带宽瓶颈。

"我们知道需要一些特殊的东西，一些更高效的东西，不仅仅解决计算问题，还要解决计算、内存、内存带宽、内存容量以及所有这些问题，"Sheth解释道。"如何以非常高效的方式将所有这些整合在一起并使其可扩展？我们知道需要一些不同的东西，所以我们就开始构建它。"

d-Matrix决定构建的东西看起来与今天经常用于运行模型的GPU大不相同。该公司的解决方案在某种程度上是连接内存和计算的更激进方法，甚至比苹果在其M系列芯片中采用的统一内存架构更加激进，后者将内存和计算结合在单个芯片上，CPU和GPU共享这个内存。

对于基于Transformer的推理，瓶颈很少是计算，而是移动权重。d-Matrix通过其数字内存计算（DIMC）技术解决了这个问题，矩阵乘法直接在内存单元内发生。

"在我们的情况下，内存块不是与计算块分离的。内存块就是计算块。我们基本上在内存单元内进行所有矩阵乘法，然后使用嵌入在内存阵列中的加法器树来进行求和，"Sheth解释道。

通过使用小芯片方法，d-Matrix可以根据需要扩展这些DIMC单元，基于RISC-V架构的控制核心管理整体数据流。

"那个（架构）是信念的飞跃，"Sheth说，构建这种新颖的计算架构花了几年时间。经过团队在整体设计方法上的几次转变，最终确定了当前的方法。使用具有芯片间互连的小芯片来更好地扩展其解决方案的想法是这个周期的一部分。

正如Sheth也强调的，这种小芯片方法不仅允许公司根据客户需求扩展其解决方案，还能在新型模型架构突然流行时快速应对工作负载的变化。

其他AI硬件公司采用略有不同的方法，例如Cerebras专注于拥有90万个AI核心的大规模晶圆尺寸芯片。Cerebras在其最新的WSE-3芯片上放置了44GB的SRAM，但它没有像d-Matrix那样将内存和计算结合，而是继续将两者分离为更独特的单元。

与这个领域的其他一些公司不同，d-Matrix目前专注于将其硬件作为风冷PCIe卡（品牌为Jetstream）或内置加速器的托盘出售，而不是为自己的推理服务提供动力或销售基于机架的解决方案。

与所有定制硬件解决方案一样，软件堆栈可能与底层硬件同样重要。不同的模型需要不同的内核才能在d-Matrix Jetstream卡上运行。Sheth指出，大多数模型彼此看起来相当相似，因此使新的DeepSeek、Llama、Qwen或其他模型在平台上运行所需的更改相当直接。

对于这些模型，公司提供预编译内核。当公司与超大规模云服务商及其第一方模型合作时，为这些公司的开发人员创建或适配现有内核通常不是问题。但随着时间的推移，d-Matrix计划通过与英伟达的Triton推理服务器等集成，让开发人员更容易采用其平台。

Sheth指出，d-Matrix的大多数客户并不运行前沿模型，而是他所称的"亚前沿"模型——通常是从更大版本的开放模型中蒸馏出来的。

对于即将到来的一年，Sheth相信我们将看到真正的异构部署，混合GPU和其他加速器。他还指出，他预计会有更多公司关注生成式视频。虽然我们已经看到Google的Veo和OpenAI的Sora等几个产品获得了相当大的动力，但Sheth认为这些模型还没有真正的"ChatGPT时刻"——这对于可能在d-Matrix芯片上运行的开放视频模型来说绝对是如此。

他还指出，一直有很多AI芯片公司在推出。但他认为，为这些初创公司获得资金是一回事，将芯片推向市场是另一回事。

他相信，很多推理也不会在数据中心运行，而是在用户的手机上或在他们的PC或笔记本电脑上运行。

"你需要有这样一种混合循环，开发人员可以在他们的桌面或笔记本电脑——或其他任何设备——上使用本地化推理，实时开发应用程序，"他说。"但然后他们可以将该应用程序流式传输到云中大规模运行，然后看看它如何运行。如果他们必须做任何更改，那么他们可以将其循环回他们的本地开发环境。……推理如果没有在你的笔记本电脑上本地运行的能力，或者某些本地化的计算形式因素，就不能真正广泛传播。"

Q&A

Q1：d-Matrix的DIMC技术是什么？它是如何工作的？

A：DIMC是数字内存计算技术，它将矩阵乘法直接在内存单元内进行，而不是将内存和计算分离。在这种架构中，内存块就是计算块，所有矩阵乘法都在内存单元内完成，然后使用嵌入在内存阵列中的加法器树进行求和。

Q2：为什么d-Matrix选择专注于AI推理而不是训练？

A：d-Matrix CEO认为到2019年英伟达已经在AI训练领域占据主导地位，除非有实质性差异化，否则在训练领域竞争将是愚蠢的。因此团队决定专注于构建高效的推理硬件平台，解决推理过程中计算和内存之间的瓶颈问题。

Q3：d-Matrix的产品适合运行什么类型的模型？

A：d-Matrix主要客户运行的不是前沿模型，而是"亚前沿"模型——通常是从更大版本的开放模型中蒸馏出来的小型微调模型。这些模型专注于特定领域，比购买大型通用模型的API访问更具成本效益。