创业 3 年、团队仅 12 人，这个硅谷公司把端侧 AI 做进了高通

作者｜吴瑞琪
微信 ｜RachieWoo

很多人以为，把一个大模型放进手机或电脑，就像下载一个 App 一样简单。

实际上，手机、电脑和智能硬件的芯片各不相同，同一个模型换一台设备，往往就要重新适配。开发者不仅要让它跑起来，还要解决速度、耗电和稳定性问题。

在云端，这套工作已经有成熟的工具。但是在终端设备，尤其是新一代设备里专门处理 AI 任务的计算单元（NPU）上，工具几乎是空白：一个新模型发布后，常常需要数周甚至数月的适配。

Nexa AI 做的，就是解决这部分最麻烦也最容易被忽视的工作。

2023 年，斯坦福校友 Alex Chen 和 Zack Li 创办 Nexa AI，做了一套开源工具 Nexa SDK，让开发者不必逐个研究不同芯片，只需很少的代码，就能把模型部署到手机、电脑和智能设备上。与大多面向传统处理器的开源项目不同，Nexa 很早就把重心押在 NPU 上，直接针对芯片特性优化模型，并把行业数周甚至数月的适配周期压缩到了当天：模型一发布，开发者就能在设备上跑起来。

这套工具很快就在开发者社区走红：登上 GitHub Trending 第一，获得近 8,000 个 Star，拿下 Product Hunt 榜首。

去年 8 月，Nexa 把"NPU First"确立为产品重点后，很快被高通的开发者关系团队注意到，随后被不断引荐给内部的技术、创投和管理团队。一位高通 VP 亲自深度试用产品后发现，Nexa 的方案在模型运行速度、效果和支持新模型的速度上，做出了比高通现有方案更好的结果。

今年 3 月中旬，Nexa AI 的 12 人团队正式加入高通，并保持完整建制。Nexa SDK 的能力将以面向高通平台的生成式 AI 推理框架 GenieX 延续。

端侧 AI 现在到底发展到哪一步？NPU First 解决的究竟是什么问题？一家已经形成开发者影响力的创业公司，为什么认为加入芯片平台是更好的路径？

近期，硅星人与 Nexa AI 联合创始人 Alex Chen 进行了对话。以下为对话实录，经不改变原意的编辑。

Nexa AI 联合创始人 Zack Li （左）和 Alex Chen（右）

硅星人：Nexa AI 最早是怎么与高通产生联系的？一开始有正式的技术或产品合作吗？

Alex： 我们一直在做 on-device AI，也有自己的开源项目 Nexa SDK。高通在过去很长一段时间里，都把端侧 AI 作为核心战略。相比之下，英伟达、AMD 等芯片公司的绝对重点还是云端 AI。

我们大约从 2024 年 10 月开始关注高通。当时我们在为 Nexa SDK 找客户，发现很多需要端侧 AI 的客户使用的是高通芯片。但高通芯片不像英伟达那样有非常成熟的 CUDA 框架，要在上面部署模型仍然比较困难。所以我们投入了很多精力，研究怎么把模型部署到高通芯片上。

一开始，我们和高通内部没有任何正式联系。到 2025 年 8 月，我们对产品做了一次很重要的升级，把 NPU 推理作为重点。因为当时已经有很多设备配备 NPU，但 NPU 的推理逻辑与 GPU 不同，软件生态也不理想。我们觉得这是创业公司的机会。

产品发布后，很快引起了高通两位同事的注意。其中一位主要负责合作伙伴和开发者关系。他不断把我们介绍给高通内部的不同团队，我们的项目后来也经常出现在高通的官方账号上，他们还为我们写了不少博客。整个过程逐渐引起了管理层的关注，最后走到收购，我觉得是水到渠成。

硅星人：从哪一次产品验证开始，双方真正开始讨论收购？

Alex： 因为我们的软件是开源的，所有人都可以直接试用。后来，高通负责开发者关系的负责人把我们介绍给了 Qualcomm Ventures 团队。Ventures 的投资人体验过产品后觉得很有意思，又把我们推荐给了一位负责相关业务的 VP，之后我们也向高通的一位 EVP 介绍了整个项目。

这位 VP 自己深度试用了我们的产品。他发现，无论是在性能还是模型质量上，我们相比高通当时已有的方案都有一定优势。除此之外，还有一点让他们印象特别深刻：我们支持新模型的速度非常快。

按照当时行业里的常见节奏，一款新模型发布后，从完成适配到在特定芯片上稳定运行，往往需要两三个月时间。我们当时基本已经做到了“Day-0 Support”，也就是模型发布当天，就能够在软件框架里完成支持。

对于开发者来说，这意味着可以第一时间使用最新模型；而对于芯片厂商来说，它的意义更大。因为越早证明自己的芯片能够支持最新模型，就越能向手机、PC 等 OEM 客户展示平台能力。在很多情况下，这不仅关系到技术竞争力，也会直接影响后续的客户合作和采购决策。

Nexa 美国团队

硅星人：高通最终看中的核心资产是什么？

Alex： 第一，我们已经做出了相对成熟的软件，可以快速 onboard 新模型，并实现模型推理。软件本身的 IP 是最核心的。

第二，我们已经形成了不错的用户群体和开发者生态。Nexa SDK 在 GitHub 有接近 8,000 个 Star，也上过 GitHub Trending 第一，在 Product Hunt 拿到过第一名。在 on-device AI 这个相对小的社区里，我们已经有一定知名度。

简单来说，一方面是已经经过验证、可以直接使用的软件；另一方面是围绕产品形成的开发者生态。

硅星人：端侧 AI 已经谈了很多年，但真正能被用户感知到的落地似乎仍然很少。现在大概处于什么阶段？

Alex： 其实已经有很多端侧 AI 真正投入使用，只是它的一个特点是，用户平时不一定能感知到。

比如大部分智能手机拍照时，从按下快门到最终生成图片，中间会有二十多个小型 AI 模型对图像进行处理。我们现在用 Teams 视频会议，摄像头捕捉到的像素和最终呈现的画面之间，也有 AI 模型实时处理。如果放到云端再传回来，很难做到这么快。

异常检测、机器人本地关节控制等任务，也已经大量使用端侧模型。这些主要是非生成式 AI。

生成式 AI 方面，很多手机 OEM 都在推动本地模型。苹果已经开始使用，但效果可能还没有达到大家想象中“特别好用”的状态，还需要一些时间。

不过，硬件正在快速变好。终端算力和内存能力每年都在快速迭代，这意味着设备可以支持越来越大的模型；与此同时，相同尺寸的模型本身也在不断变强。这两个因素会共同推动端侧 AI 能处理的问题越来越多。

硅星人：未来端侧模型和云端模型的关系会是什么样的？

Alex： 我觉得云端和端侧联合推理可能会成为趋势。

现在，本地模型已经可以处理功能调用、文本信息提取等任务。比如从一份很长的文本里提取信息，如果本地模型可以完成，速度很快，边际成本也几乎为零。如果全部调用云端大模型，任务本身虽然简单，却会消耗大量 Token。

未来更合理的做法可能是：适合在本地完成的任务交给端侧模型，真正复杂的推理再调用云端。

硅星人：Nexa 一直强调“NPU First”。它具体是什么意思？

Alex： NPU 是 Neural Processing Unit，也就是专门为 AI 运算设计的处理单元。

CPU 需要处理操作系统和各种通用计算；GPU 可以同时进行大量线程计算，因此很适合 AI。NPU 更进一步，它在设计时就去掉了很多 AI 推理不需要的通用能力，并重点优化整数等模型推理常用的数据类型。

正因为它更专用，NPU 在支持新模型和软件生态上，反而不如 CPU 和 GPU 成熟。高通的大部分芯片同时有 CPU、GPU 和 NPU。我们提出 NPU First，是因为我们认为 NPU 是当下最迫切需要解决的部分，而且一旦解决，价值也最大。

硅星人：如果用一句比较技术的话解释 Nexa 的壁垒，它主要来自 runtime、量化、硬件调度，还是跨平台工程能力？

Alex： 最大的壁垒，是我们对 NPU 硬件有比较深入的理解，并从软件层面进行了 hardware-aware software design。也就是软件设计从一开始就理解硬件的特性，因此可以同时在速度和模型质量上取得优势。

硅星人：Nexa SDK 并入高通后变成 GenieX，产品本身发生了什么变化？

Alex： 以前 Nexa SDK 的 slogan 是“Any Model, Any Backend”，我们希望把任何模型部署到任何硬件 backend 上。

并入高通以后，我们不再支持其他芯片后端，现在只支持高通芯片。这是最大的变化，其他部分没有本质区别。

硅星人：有没有一个真实场景，可以说明端侧 AI 不只是 Demo，而是确实比云端方案更合适？

Alex： 最近有一个 Demo，可以在本地计算机运行一个约 20B 参数的模型，把它作为 AI Agent 的 API，再让 Agent 帮用户完成发票报销。

发票里可能包含隐私信息，Agent 还需要控制本地电脑、操作报销系统。类似这种涉及敏感数据和本地操作权限的任务，就适合用本地模型完成。现在它已经可以正常工作，只是速度还不如云端，但会持续提升。

硅星人：本地计算省掉了网络传输，为什么速度反而可能不如云端？

Alex： 本地设备的算力是固定的，云端使用的是 A100、H100，甚至更新一代的工业级 GPU，计算能力显著强于个人设备。

端侧真正节省的是信息来回传输的延迟。所以，那些模型本身计算量不大、但对实时性要求很高的任务，尤其适合放在本地。比如视频会议的画面处理几乎需要瞬时完成，如果把图像传到云端处理再传回来，速度会慢很多。

但 LLM 需要不断生成 Token，模型计算时间占据了主要部分。这种任务即便不需要网络传输，本地运行也不一定比云端更快。

硅星人：被收购前，有没有考虑过继续独立发展？为什么最终认为加入大平台是更好的路径？

Alex： 我们当然考虑过继续独立发展。但研究下来，端侧 AI 在商业模式上有一个很特别的地方。

如果把某个模型在某款芯片上的端侧部署做得足够好，它可以极大促进这款芯片的销售。所以，最终的商业模式其实是卖芯片，真正的付费用户主要是手机、电脑等设备的 OEM 厂商。

端侧 AI 技术与某一款芯片深度整合后，可以产生很好的商业价值；但端侧 AI 软件本身如果单独变现，会面临难以 scale 等问题。最后，我们是基于端侧 AI 的商业格局做出了加入高通的决定。

Nexa 中国团队

硅星人：加入高通后，接下来 12 个月最重要的目标是什么？

Alex： 最重要的目标，是让 GenieX 覆盖绝大部分、甚至几乎全部 Qualcomm 芯片的开发者，让他们在自己的工作流里使用这款 SDK。核心仍然是推广产品，并根据开发者反馈持续迭代。

硅星人：团队目前是怎样的状态？

Alex： 我们一共有 12 个人，全部加入了高通，目前仍然保持为一个完整团队。

加入高通后，我们可以更加专注，只关注一套芯片平台。需要适应的是与更多部门合作，以及更规范的产品发布流程。产品也要更具体地考虑高通芯片的用户。

以前，我们做研发的同时，还需要分出大量精力做产品推广、合作和增长。现在高通有成熟的 marketing 和 developer marketing 团队帮助我们，对于我们两位创始人来说，也重新回到了最喜欢的状态：专注于产品和技术开发。

点个“爱心”，再走 吧