Majestic Labs获1亿美元融资推出大内存AI服务器

人工智能基础设施初创公司Majestic Labs今日正式成立，并获得1亿美元首轮融资。

该公司通过由Bow Wave Capital领投的A轮融资筹集了大部分资金7100万美元。Lux Capital领投了Majestic Labs早期的种子投资。这家硬件制造商还得到了SBI、Upfront、Grove Ventures、Hetz Ventures、QP Ventures、Aidenlair Global和TAL Ventures的支持。

Majestic Labs由芯片工程高管Ofer Schacham、Masumi Reynders和Sha Rabii领导。首席执行官Schacham此前领导谷歌为其消费设备开发芯片的团队。Reynders和Rabii也曾在Alphabet旗下半导体部门担任高级职务。

大语言模型在处理提示时会产生大量临时数据。因此，它们必须部署在具有大内存池的服务器上以容纳这些数据。此外，大语言模型还需要能够在服务器内存池和显卡之间高速移动数据。

增加AI集群的内存容量通常需要公司添加服务器，这反过来又需要部署更多支持设备，如冷却系统。这大大增加了硬件成本。Majestic Labs正在通过一种服务器来解决这一挑战，该公司表示其服务器将包含相当于10个机架的内存容量。一台服务器只需要机架冷却设备的一小部分，从而降低了采购成本和功耗。

Majestic Labs表示其系统包含一个"定制加速器"芯片和一个同样内部开发的内存接口模块。该服务器可配备高达128TB的RAM。Majestic Labs没有具体说明其系统包含什么类型的RAM，但将该技术描述为"极快、节能、高带宽内存"，这暗示可能使用的是HBM内存。HBM是一种特别高性能的RAM类型，在AI集群中无处不在。

标准RAM芯片包含单层内存单元。而HBM模块则包含十多个层叠在一起的内存单元层。这些层通过数百万个被称为硅通孔的微型铜填充电线连接在一起。

增加AI集群服务器中的内存量可以提升大语言模型性能。然而，性能提升的幅度因模型执行的推理任务而异。大语言模型在用户输入提示到第一个输出Token之间执行的计算更多受到显卡性能而非内存速度的影响。相比之下，用于生成后续输出Token的计算可以通过向AI集群添加更多内存而显著加速。

Majestic Labs的服务器不仅可以运行推理工作负载，还可以训练新的大语言模型。"我们的系统支持每台服务器更多用户，缩短训练时间，将本地和云端的AI工作负载提升到新高度，"Rabii说。

据CNBC报道，Majestic Labs计划向超大规模数据中心运营商、金融机构和制药公司销售其硬件。该初创公司计划在2027年交付首批服务器。与此同时，它将致力于扩大工程团队，增强与服务器一起交付的软件栈，并筹集额外资金。

Q&A

Q1：Majestic Labs的服务器相比传统服务器有什么优势？

A：Majestic Labs的服务器包含相当于10个机架的内存容量，但只需要机架冷却设备的一小部分，大大降低了采购成本和功耗。该服务器可配备高达128TB的RAM，并包含定制加速器芯片和内部开发的内存接口模块。

Q2：为什么大语言模型需要大内存服务器？

A：大语言模型在处理提示时会产生大量临时数据，需要部署在具有大内存池的服务器上以容纳这些数据。此外，大语言模型还需要能够在服务器内存池和显卡之间高速移动数据，增加内存量可以显著加速后续输出Token的计算。

Q3：Majestic Labs什么时候开始交付产品？

A：Majestic Labs计划在2027年交付首批服务器。在此期间，公司将致力于扩大工程团队，增强与服务器一起交付的软件栈，并筹集额外资金。目标客户包括超大规模数据中心运营商、金融机构和制药公司。