Gimlet Labs获8000万美元融资，多芯片推理云技术解决AI推理瓶颈

斯坦福大学兼职教授、成功创业者Zain Asgar刚刚为其初创公司Gimlet Labs完成了8000万美元的A轮融资，由Menlo Ventures领投。该公司以巧妙的方式解决了AI推理瓶颈问题。

Gimlet Labs创建了号称业界首个也是唯一的"多芯片推理云"，这是一种允许AI工作负载同时在不同类型硬件上运行的软件。它可以将AI应用的工作分配到传统CPU和AI调优GPU以及高内存系统上。

"我们基本上可以在任何可用的不同硬件上运行，"Asgar告诉TechCrunch。

单个智能体可能会链接多个步骤，每个步骤"需要不同的硬件：推理受计算约束；解码受内存约束；工具调用受网络约束，"主要投资者Menlo的Tim Tully在关于此次融资的博客文章中写道。

目前还没有芯片能够胜任所有工作，但随着新硬件的推出和老化GPU的重新部署，"多芯片组合已经准备就绪——只是缺少软件层来使其工作。"这就是Tully认为Gimlet Labs所提供的价值。

如果当前部署更多算力的趋势持续，McKinsey估计到2030年数据中心支出将达到近7万亿美元。Asgar表示，应用程序仅在"15%到30%"的时间内使用已部署的现有硬件。

"另一种思考方式是：你正在浪费数千亿美元，因为你只是让资源闲置，"他说。"我们的目标基本上是试图弄清楚如何让AI工作负载比以往任何时候都高效10倍。"

因此，他和联合创始人Michelle Nguyen、Omid Azizi以及Natalie Serrino着手构建编排软件，将智能体工作负载切片，使其能够同时分布在各种硬件上。

Gimlet Labs声称能够在相同成本和功耗下可靠地将AI推理速度提高3到10倍。Gimlet表示，它甚至可以切分底层模型，使其在不同架构上运行，为模型的每个部分使用最佳芯片。

该公司已经与芯片制造商NVIDIA、AMD、Intel、ARM、Cerebras和d-Matrix建立了合作伙伴关系。

Gimlet的产品通过软件或其自有Gimlet Cloud的API提供，不是面向普通AI应用开发者的。它的目标客户是最大的AI模型实验室和数据中心。

该公司于10月公开发布，据称一开始就有八位数收入（至少1000万美元）。Asgar表示，他的客户群在过去四个月中增长了一倍多，现在包括一家主要模型制造商和一家极大的云计算公司，尽管他拒绝透露名称。

联合创始人们此前曾在Pixie共事，该初创公司为Kubernetes创建了开源可观测性工具。Pixie于2020年被New Relic收购，就在其以Benchmark领投的900万美元A轮融资启动仅两个月后。（Pixie的技术现在是监管Kubernetes的开源组织的一部分。）

大约一年前，Asgar偶然遇到Tully并获得了斯坦福教授的天使投资后，风投开始致电。产品发布后，条款清单就摆在了Asgar的桌上。当风投听说Asgar在考虑报价时，"我们得到了相当大的资金蜂拥，"轮次很快超额认购，他说。

加上之前的种子轮，这家初创公司现在总共筹集了9200万美元，包括来自众多天使投资人的投资，如红杉的Bill Coughran、斯坦福教授Nick McKeown、VMware前CEO Raghu Raghuram和英特尔CEO Lip-Bu Tan。该公司目前有30名员工。

其他投资者包括领投种子轮的Factory、Eclipse Ventures、Prosperity7和Triatomic。

Q&A

Q1：Gimlet Labs的多芯片推理云是什么？

A：多芯片推理云是Gimlet Labs开发的创新软件技术，能够让AI工作负载同时在不同类型的硬件上运行，包括传统CPU、AI调优GPU以及高内存系统，通过智能分配工作来提高效率。

Q2：多芯片推理云技术能带来多大的性能提升？

A：据Gimlet Labs声称，该技术能够在相同成本和功耗下可靠地将AI推理速度提高3到10倍，同时大幅提高硬件资源利用率，解决目前硬件利用率仅15%到30%的浪费问题。

Q3：Gimlet Labs的目标客户是谁？

A：Gimlet Labs主要面向最大的AI模型实验室和数据中心，而不是普通的AI应用开发者。其产品通过软件或API形式提供，已经与NVIDIA、AMD、Intel等主要芯片制造商建立合作关系。