芯片巨头联手，投了一家初创公司

公众号记得加星标⭐️，第一时间看推送不会错过。

一些公司正试图通过制造更高效的硬件来解决计算资源短缺问题。而一家名为RadixArk的初创公司则试图通过开发更高效的软件来解决这个问题——而且它的方法已经获得了科技行业一些巨头的支持。

这家初创公司开发了一款软件工具，据称该工具能够让人工智能模型更高效、更经济地处理查询，部分原因在于它能更好地利用短期记忆，从而减少计算所需的总算力。其开源软件引擎 SGLang 充当模型和硬件之间的中间层。

SGLang 最初隶属于大型模型系统组织（LMSYS Org），这是一个非营利组织，也孵化了 Chatbot Arena，最终分拆为 RadixArk。RadixArk 的首席执行官 Ying Sheng 此前曾在 xAI 工作，之后离开该公司联合创立了这家初创公司。

这家公司雄心勃勃地计划将业务从推理扩展到模型训练领域。该公司宣布已完成种子轮融资，从NVentures、 NVIDIA、 AMD、 Intel、 Broadcom和 MediaTek，以及Salience Capital、A&E Investments、HOF Capital、Walden Catalyst Ventures 和 LDV Partners。等投资方筹集了1亿美元，公司估值达到4亿美元。TechCrunch此前曾报道过RadixArk此次融资的部分细节。

“目前唯一能做的就是提高芯片的效率，” Accel合伙人Ivan Zhou说道，他主导了这家风险投资公司对RadixArk的投资。“如果你只能生产10个芯片，而市场需求量是100个，你唯一能做的就是让每个芯片都像能处理10个需求那样运行，而这正是RadixArk所做的。”

人工智能模型使用一种名为键值缓存（KV缓存）的技术来记忆某些信息，这样每次运行查询时就不必从头开始重新计算所有内容。然而，键值缓存的问题在于它会增加内存使用量。

RadixArk 的推理引擎通过将对话片段组织成一个名为 Radix 树的文件系统来重用 KV 缓存。该引擎会扫描新的查询，查看提示的开头是否与它已经处理过的内容匹配。如果匹配，它会跳过查询的这部分，因为它已经理解了这些内容，从而更快地找到答案，显著降低运行 AI 模型的成本。

RadixArk联合创始人兼首席技术官朱邦华（Banghua Zhu）表示：“很多推理都与你如何管理这些KV缓存项有关。如果你只是保存它们，那么下次生成下一个token时，就可以直接重复使用它们。”

联合创始人将其比作餐厅厨房批量准备食材的方式——切好的蔬菜、酱汁——这些食材可以用于烹饪多种类型的菜肴。

该公司于 11 月发布了名为 Miles 的强化学习框架，并表示未来计划在模型训练层投入更多精力。

“我们希望成为能够生产最佳模型并托管最佳模型的工厂，”RadixArk 的 CEO Sheng 说。“所以推理就像一扇窗户，而窗户后面则是所有正在发生的事情，包括训练部分。”

RadixArk完成1亿美元种子轮融资，估值达4亿美元

专注于让前沿人工智能系统更广泛普及的人工智能基础设施公司RadixArk宣布完成 1 亿美元种子轮融资，投后估值达 4 亿美元。本轮融资由 Accel领投， Spark Capital 联合领投 ，众多战略投资者参与其中，包括芯片制造商、风险投资公司和人工智能行业高管。

投资财团成员包括 NVentures、 NVIDIA、 AMD、 Intel、 Broadcom和 MediaTek，以及Salience Capital、A&E Investments、HOF Capital、Walden Catalyst Ventures 和 LDV Partners。

本轮融资的一大亮点是众多人工智能和技术领域的资深领军人物参与，包括 xAI 的 Igor Babuschkin、 Lip-Bu Tan、 Hock Tan、 OpenAI 的 John Schulman和 Soumith Chintala。此外，Datadog 联合创始人 Olivier Pomel、Hugging Face 联合创始人 Thomas Wolf、Anyscale 联合创始人 Robert Nishihara和 Gemini 产品负责人 Logan Kilpatrick等业内人士也提供了支持。

RadixArk由人工智能基础设施领域的资深人士盛颖 和 朱邦华创立 ，他们此前都曾在xAI和NVIDIA从事人工智能系统开发工作。该公司的起源与SGLang密切相关，SGLang是由盛颖及其合作者于2023年创建的开源推理引擎，旨在提高大规模模型服务的效率。

SGLang 现已发展成为广泛采用的模型推理开放标准，并拥有一个涵盖学术机构、研究实验室和科技公司的全球贡献者社区的支持。据该公司称，该框架目前已部署在全球数十万个 GPU 上，每天处理数万亿个令牌，用户包括 Google、Microsoft、NVIDIA、Oracle、AMD、Nebius、LinkedIn、xAI 等众多机构。

RadixArk 在发布之初便将自身定位为一个基础设施层，旨在解决其所描述的当前 AI 技术栈中存在的碎片化和重复问题。该公司认为，尽管对大规模 AI 系统的需求不断增长，但大部分底层基础设施仍然集中在少数几家机构手中，迫使新进入者独立重建核心训练和推理能力。

RadixArk 的平台基于 SGLang 进行推理，并采用开源强化学习和训练框架“Miles”。这些系统共同构成了一个端到端的基础设施，涵盖模型训练、微调、强化学习和大规模推理部署。

该公司的策略不仅限于提供计算资源，而是将自身定位为构建和运行人工智能模型的全栈系统。这包括支持专有模型训练、开放模型定制和生产级部署，所有这些都集成在一个统一的基础架构环境中，旨在降低工程团队的运维成本。

Accel 合伙人 Ivan Zhou 将该公司描述为一种更广泛的转变的一部分，这种转变将人工智能基础设施视为基础产品类别，而非内部工程职能。Spark Capital 普通合伙人 Arpan Shah 也同样强调了开放系统对于在人工智能能力扩展过程中维持更广泛的生态系统访问权限的重要性。

RadixArk 的技术栈旨在支持多种型号系列和硬件环境，包括 Llama、Qwen、DeepSeek、Mistral、Gemma 等，并可在 NVIDIA GPU、AMD 加速器、Intel CPU 和 Google TPU 上运行。该公司表示，这种跨平台兼容性旨在减少厂商锁定，并支持异构基础设施部署。

更广泛的论述反映了人工智能行业日益激烈的争论，即前沿模型开发究竟会继续集中在少数资金雄厚的机构手中，还是会通过更开放的基础设施层进行扩展。RadixArk 的定位与后一种观点相符，强调共享系统，使不同规模的机构都能构建和部署高级模型，而无需从头开始重建核心基础设施。

该公司计划利用这笔新资金扩大 SGLang 的开发，加速对新兴模型架构和硬件平台的支持，并构建其用于大规模训练和推理的托管基础设施产品。

RadixArk 进入市场之际，正值人工智能基础设施需求持续飙升之时，这主要得益于生成式人工智能应用的快速普及以及训练和部署大型模型所需的计算能力不断增长。其支持者认为，人工智能发展的下一阶段不仅取决于模型本身的创新，也同样取决于基础设施的标准化。

由SGLang 项目分拆的 RadixArk

人工智能基础设施领域正在出现一种趋势：流行的开源工具正在转型为价值数亿美元的风险投资支持的初创公司。最新的例子是RadixArk，这家商业公司开发了SGLang，这是一款日益流行的工具，可以帮助人工智能模型运行得更快、更经济。

据techcruch在今年一月引述两位知情人士透露，RadixArk 最近在由 Accel 领投的一轮融资中估值约为 4 亿美元，对于一家去年 8 月才宣布成立的初创公司来说，这笔金额相当可观。TechCrunch 尚未能证实此次融资的具体数额。

此前有消息称，负责维护 SGLang 的部分团队成员已加入最近成立的商业初创公司 RadixArk。SGLang 被 xAI 和 Cursor 等公司用于加速 AI 模型训练。RadixArk 的前身是 SGLang，于 2023 年在 Databricks 联合创始人 Ion Stoica 的加州大学伯克利分校实验室中开发。

据知情人士透露，这家初创公司此前曾从包括英特尔首席执行官陈立兵在内的投资者那里筹集过天使投资。

据她上个月在领英上发布的消息，SGLang 的重要贡献者、前 xAI 工程师 Ying Sheng 已离开埃隆·马斯克的这家人工智能初创公司，成为 RadixArk 的联合创始人兼首席执行官。Sheng Sheng 此前曾在 Databricks 担任研究科学家。

RadixArk 的 Ying Sheng、Accel 和 Lip-Bu Tan 没有回应置评请求。

SGLang 和 RadixArk 都专注于优化推理处理——本质上是让模型在相同的硬件上运行得更快、更高效。推理与模型训练一起，占据了人工智能服务服务器成本的很大一部分。因此，能够优化推理过程的工具几乎可以立即带来巨大的成本节约。

RadixArk并非唯一一个从开源项目转型为资金雄厚的初创公司的项目。vLLM，一个用于优化推理的更成熟的项目，也完成了这一转变。据《福布斯》上月报道，这家新成立的公司正在洽谈融资，目标是筹集超过1.6亿美元的资金，估值约为10亿美元。

三位知情人士向TechCrunch透露，Andreessen Horowitz领投了vLLM的这轮融资，但最终投资金额尚待公布。Andreessen Horowitz拒绝置评。vLLM联合创始人Simon Mo在给TechCrunch的一份声明中称，有关此轮融资的信息“与事实不符”，但他拒绝具体说明哪些细节有误。

与 SGLang 一样，vLLM 也是在加州大学伯克利分校 Ion Stoica 的实验室孵化的。Stoica 是加州大学伯克利分校的教授，也是 Databricks 以及其他多家初创公司的联合创始人。

CRV 的普通合伙人 Brittany Walker 告诉 TechCrunch，多家大型科技公司已经在使用 vLLM 运行其推理工作负载，而 SGLang 在过去六个月中也获得了显著的普及。她的公司并未投资这两家公司。

RadixArk 正在持续开发 SGLang，将其打造为一款开源的 AI 模型引擎。这家初创公司还在构建 Miles，这是一个专为强化学习而设计的框架，它能够帮助企业训练 AI 模型，使其随着时间的推移变得更加智能。

一位熟悉该公司的人士告诉 TechCrunch，虽然 RadixArk 的大部分工具仍然免费，但它已经开始对托管服务收取费用。

近几个月来，为开发者提供推理基础设施的初创公司融资激增，凸显了推理层对人工智能的持续重要性。《华尔街日报》周二报道，Baseten 近期以50 亿美元的估值融资 3 亿美元。此前，其竞争对手 Fireworks AI 也于去年 10 月进行了类似融资，以 40 亿美元的估值融资2.5 亿美元。

（来源：编译自WSJ ）

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4398内容，欢迎关注。

加星标⭐️第一时间看推送

求推荐