端侧 AI 迎来「高智能」时刻，比肩云端模型

可以 Vibe Coding 的千亿参数端侧模型。

2024 年，苹果尚未正式公布 Apple Intelligence，关于哪家模型企业能成为苹果在中国的 AI 合作伙伴，一度成了给国产大模型排座次的隐形榜单。这个榜单上，百度、阿里、腾讯、字节跳动的名字都曾陆续被提及。到 2025 年 2 月，阿里一度因为确认参与合作，当天港股盘中大涨 9.2%。

AI 尚未真正落地端侧，市场就已经为它写好了 Make Mobile Phone Great Again 的新剧本。

直到 2026 年 10 月底，苹果终于公布国行版本的上线安排。那个能理解复杂需求、替用户四处办事的升级版助手新一代 Siri AI 仍遥遥无期，首批交付的写作、翻译、照片处理等功能也并未超过传统端侧 AI 的射程范围。

大模型已经渗入工作生活方方面面的当下，苹果为什么又跳票了？

内存墙，是绕不开的答案。

通常来说，大模型运行时，所有参数都要装进内存，生成答案时，设备还要不断读取参与计算的参数。可手机和笔记本的内存本就有限，还得分给系统和各种 APP。一个 35B，也就是 350 亿参数的模型，采用常见的 4 比特量化，权重占用仍可能接近 20GB，远超手机通常能为一个应用腾出的空间。

这也是为什么云端模型发展已经一日千里的情况下，端侧模型还依然困在智能、内存与 IO 之间的不可能三角中反复取舍。

一个端侧模型，想要高智能，又不想让权重常驻挤占内存，就要靠稀疏激活、按需加载，代价是 IO 带宽被持续消耗，一个最简单的问题，可能需要几分钟时间才能回答。

想要低 IO、少搬数据，又维持高智能，就必须把全套权重常驻内存，挤占其他常驻 APP 的内存；想要控制常驻内存、同时压低 IO 开销与等待时间，就只能接受小模型，智能上限被锁死。

但端侧模型的上限真的就此被锁死了吗？

一个名叫无界方舟的公司，提供了新的破题思路。

01

千亿参数，

第一次在端侧可用

今年 9 月，无界方舟开源了 Edge0-35B，首次让一个通常需要近 20GB 权重空间的 350 亿参数模型，放进手机能够运行的内存预算里。

按照官方测试数据，Edge0-35B 在适配的手机上，峰值运行内存约为 2.5GB，生成速度超过每秒 37 个 token。

也就是说，模型仍然保留着 350 亿参数的规模，但设备在某个时刻需要留在内存里的，只是其中的可以被快速激活的一部分。其余权重存放在设备的存储空间中，由推理框架提前准备、按需调入。

成绩加持下，Edge0-35B 发布不久，在海外社区未投放的情况下，帖子当天的阅读量就突破 120 万，来自 OpenAI、NVIDIA、高通等公司的多位技术专家和研究员纷纷转发，模型随即登上 Hugging Face 全站 Trending 榜第一。

此外，由于无界方舟还同时开源了模型权重和统一推理框架，该方案后来也成为了端侧企业和研究机构复刻的标准解法。此后，行业对端侧模型的讨论，从几十亿参数整体抬升到了 350 亿参数这一档。

如果说过去的思路是手机只能装下小模型，Edge0-35B 尝试回答的就是：能不能让手机每次只装下大模型当前要用的部分，同时把等待压到足够低？

沿着这条路线，无界方舟又把端侧模型规模推到了 145B 的千亿规模。今天，Edge0-145B 已经在 Hugging Face 开放模型权重，全新的端侧统一推理引擎也在 GitHub 开源，并提供一键部署工具与完整硬件适配指南。借助该模型，可以实现：写代码、操作软件、搭建三维场景，以及围绕一个目标连续规划、执行和修改等等过去主要依赖云端模型完成的复杂任务。

适配的硬件方面，Edge0-145B 发布首日 Day 0 即全面支持 macOS、Windows、Linux 三大系统，覆盖苹果 M 系列芯片，以及 NVIDIA GPU 等平台。

*端侧模型规模演进图：端侧模型的参数与智能上限被不断推高，无界方舟第一次将端侧模型拔高到千亿参数水平，且真正可用，非理论研究

如果说，此前的 35B 的百亿参数端侧模型，代表高智力端侧 AI 第一次从实验室走向产业落地；那么此次的 145B 的千亿参数端侧大模型，则代表着端侧模型的智力水平首次比肩云端模型。在具体的表现上，Edge0-145B 的突破主要有五点：

• 内存装得下：峰值内存 29GB，一台 MacBook Pro 这样的个人笔记本就能运行，不需要服务器；
• 首字等得起：预填充（Prefill）速度 1,100+ token/s，几十页代码丢进去，第一个字即时出现；
• 生成跟得上：解码（Decode）速度 80+ token/s，比人的阅读速度更快，不用盯着屏幕一个词一个词地等；
• 功耗压得住：典型功耗约 120W，持续运行不降频；
• 长任务不变慢：支持 128K–256K 上下文，长文本下速度基本不衰减，长时间的复杂任务不会越跑越慢。

作为参照，当前主流端侧模型集中在 1B–10B。Edge0-35B 在 iPhone 18 Pro Max 上做到 37+ token/s、约 2.5GB 内存。Edge0-145B 的参数量是它的 4 倍，在笔记本电脑上运行的速度高达 80+ token/s，峰值内存仅需 29GB。

02

千亿模型，

如何从端侧可用到端侧好用

解决了可用问题后，一个新的问题随之而来。

一个千亿参数模型，即使能在本地加载，但用户真的愿意用吗？

把模型启动起来，只解决了第一步。几十页代码输入后，要等多久才能开始回答？生成速度能否跟上阅读？任务持续半小时，设备会不会因为发热而降速？模型跑着的时候，其他软件还能不能正常工作？

这些问题，直接关系着实际的用户体验。

无界方舟的解法，是同时调整模型结构、权重存放方式和计算调度。

首先，第一步是架构调整。1450 亿参数并不会在每一步全部参与计算。Edge0-145B 采用分组共享的稀疏专家结构：过去每个专家各存一整套矩阵，现在同组 64 个专家共用两段大矩阵，各自只保留一小份差异化参数。专家数量没变，需要存储和搬运的权重却大幅减少。总参数堆到 145B，每次推理实际参与计算的只有约 6.6B。

架构确定之后，就是根据架构以及端侧的需求，做针对性的模型训练。

在此之后，是解决加载难题。稀疏架构只减少了计算量，没有自动解决权重放在哪里、需要时如何及时取到的问题。一个专家即使暂时不用，它的参数仍要占据某处存储空间。

Edge0-145B 的选择是让不同层级的存储各司其职：经常调用的部分尽量留在更快的显存里，其余部分分布在系统内存和 SSD 中。模型一边计算，系统一边准备后续需要的数据，尽量减少算完一步再等下一批权重的空档。

最后一步，是调度，让 CPU 和 GPU 协同工作，再通过投机解码，一次提出、验证多个候选 token，把部分计算与读取开销分摊到更多输出上。

通过这几步的优化，千亿模型被加载到端侧设备以及流畅高效运行不再是难事，而接下来它要回答的，就是这款模型，究竟能做多少事。

03

从能聊天走向能干活

千亿模型部署到端侧如果只能断网聊天，那么无非只是个用于秀肌肉的摆设，能真正独立完成复杂任务才是真正的目标。

无界方舟公布的六项主流评测中，Edge0-145B 在 DeepSWE 1.1 64.6、Terminal-Bench 2.1 86.5、HLE 35.4、GPQA-Diamond 90.4、IFBench 80.6、AA-LCR 79.3，综合水平与 DeepSeek-V4-Flash 等主流开源云端大模型处于同一档位。它的强项在智能体与编程。在 DeepSWE 和 Terminal-Bench 这两项智能体编程评测上，Edge0-145B 超过了同档位的开源模型；在 Terminal-Bench 2.1、IFBench 和 AA-LCR 上，它的得分还高于云端闭源模型 Claude Opus 4.6（Max）。

*Edge0-145B 在 DeepSWE、Terminal-Bench 等智能体与编程评测上领先同级开源模型，端侧模型的智能上限第一次接近云端顶级模型

与百亿参数水位的主流端侧模型相比，Edge0-145B 在智能体与编程任务上的提升最为明显：Terminal-Bench 提升 18.5%，DeepSWE 提升 53.1%；在推理与知识类任务上也有 1%–15% 的提升（HLE +14.9%、GPQA +1.3%、IFBench +1.4%）。完整的测试设置、硬件环境与复现方式，随技术报告一同公开。

*同等甚至更高的智能水平，Edge0-145B 只需约三分之一内存，一台 48GB 笔记本即可本地运行千亿参数模型

但 benchmark 只是能力的切片，真实世界要求模型把事情做成。

Vibe Coding 正是检验模型真实水平的一个试金石。借助 Edge0-145B，用户只需要一句自然语言指令，模型就会在本地完成整条工作链：先拆解需求、规划步骤，再编写代码、调用工具运行，遇到报错自己调试修复，最后截图检查画面效果，不满意就继续改，直到交付一个完整可用的作品。整个过程往往包含几十轮规划、执行和自我检查，这正是过去只有云端大模型才能胜任的长链路智能体任务。

现在，这条链路第一次在一台笔记本里闭环完成：不需要上云，不按 token 计费，代码和数据也不离开本机，断网也能照常工作。

比如，这是让Edge0-145B生成一个讲解 Roadster 的视频，向大众科普汽车为什么能飞。在该任务中，Edge0-145B 能独立完成技术原理调研、脚本撰写、素材生成与创意剪辑。没有云端调用，没有云端 token 消耗，也没有网络延迟。

以前做一条 AI 视频的账单可能是几百至上千元，现在这笔费用是零。原本需要编导、3D 建模师、剪辑师、物理专家共同花费一个月完成的视频，在 1 小时内便可生成。

同样的能力，也被用在了三维场景创作中。

在 3D 创作场景中，Edge0-145B 可以操作 Blender，从文字和参考图出发建立场景、调整材质与灯光，并依据渲染结果持续迭代。我们让它生成曼哈顿的城市建模，它看到的不只是像素，也能理解物体、空间关系和创作目标。过去由人工看画面、人工写代码、再人工修改的断裂流程，现在模型在 Blender 里把三个步骤直接渲染完成，全程不离开本地。

体现在成本上，以前人工做一个曼哈顿级别的城市三维场景，账单大约是 8 万至 12 万元，周期一个月起步。如果由云端顶级模型生成，云端 token 费也得上千元。而 Edge0-145B 在 1 小时内就能完成，且 0 token 成本。

在 3D 建模的基础上，Edge0-145B 还能直接为游戏搭建一整座世界。我们给了它一份游戏宣传片级别的需求：为一款奇幻 RPG 搭建一座原创的中世纪主城，并渲染一段 20 秒的飞越镜头。在这个任务里，Edge0-145B 自主规划了整体设计，在 Blender 中从零搭建城墙、上千栋老城民居、广场喷泉、哥特式双塔立面、肋拱顶中殿和彩窗，最后按照固定的镜头路线完成渲染。类似场景中，任何一处穿模、遮挡或比例失调，都会在镜头里暴露无遗。但它能一边建模，一边检查渲染画面、自行修正，全程不离开本地。

同样的任务，交给云端顶级模型做对照：用同一份提示词、同一批参考图、同一条镜头路线。云端模型完成一次要调用上百次工具，消耗数亿 token。以前人工做一个游戏宣传片级别的城市场景，美术团队往往需要几周时间、花费数万元。而 Edge0-145B 在一台笔记本上就能交付，token 成本为零。

这条链路还可以延伸到硬件开发。

在无人机案例中，团队向模型提出的要求是：「编写一个无人机程序，穿越障碍，寻找一个红色背包。」随后，我们看到了模型生成飞控与视觉识别程序后，无人机在室内穿过障碍，并定位到了目标。

除了视频、3D 建模和游戏，我们还测试了更高难度的任务，走进硬件工程师的工作台，从零到一设计一块 PCB。在 PCB 案例里，模型需要同时理解并使用两类软件：先在 KiCad 中完成元器件布局与双层走线，再把电路板导入虚幻引擎 5，设置镜头和灯光，生成制造与组装过程的展示动画。

过去，这需要硬件工程师和三维设计师接力数天才能完成；现在，一台电脑就能独立交付。原理图、版图这些硬件企业最核心的资产，全程无需上传云端，商业机密和数据合规都有保障。

04

为什么是无界方舟

端侧模型不是新赛道，海外已有多家估值数百亿人民币的 Neo Lab 在做，论文不少，但真正能在消费硬件上跑起来的端侧模型却少之又少。

落地端侧，这需要模型企业不能只交付一份模型权重。它还要回答：模型在什么配置下运行，调用多少内存，怎样与系统里的其他任务共存，以及硬件厂商如何把它接进自己的产品。

而这也是无界方舟的优势所在：

其一是完整的模型产品线配置。过去一年，无界方舟发布了一共四个模型家族、200 款模型可以像人脑一样分工协同：Audio8 语音模型负责听与说，Decision0 决策模型负责快思考，约 40 毫秒就能做出判断；Edge0 端侧大模型，负责复杂智能体任务和 Vibe Coding；Embedding0 向量模型负责记忆。参数从千万级、百亿级到千亿级，一路把端侧的智能上限向上突破。

其二是全栈路线。无界方舟走的是端侧 AI 全栈研发路线，核心是让模型、推理框架与硬件芯片协同优化。为此，无界方舟既做端侧模型，也做端侧推理框架：从训练阶段就针对硬件特性优化模型，同时改造推理引擎，让模型在不同芯片上高效运行。

其三是产业飞轮。当下，端侧市场高度碎片化，不同芯片的 NPU 架构不同，对 INT4、INT8、FP4 等计算精度的支持各不相同，通用模型直接部署，很难发挥出硬件性能。无界方舟的做法是把每一颗芯片都啃下来。目前已适配覆盖 95% 的主流芯片平台——高通、恒玄、瑞芯微、全志、地瓜、英伟达等，覆盖耳机、眼镜、手机、PC、机器人等各类硬件形态。每适配一款芯片、部署一个模型、落地一款产品，都会沉淀一次可复用的优化能力，让下一次部署更快、更省。

截至目前，无界方舟开源模型在 3 个月内下载量已经突破 1,500 万次，多次登顶 Hugging Face 趋势总榜第一；截至 2026 年 10 月，客户数已突破 11 万家。

05

尾声

再往后看，端侧模型能力的变化，或许会进一步影响云端模型的定位。

过去，端云分工往往由能力决定：设备上处理唤醒、识别和简单指令，复杂需求交给云端。用户想让 AI 更聪明，通常就要接受联网、等待，以及持续发生的调用费用。

当端侧开始接住更复杂的任务，这个默认分工成立的条件开始逐渐被松动。

最先发生变化的，可能是高频、相对明确、与设备本身关系紧密的需求。

成本是他们的第一重选择逻辑。

采用纯云方案时，每卖出一台设备，都可能带来一段持续发生的推理支出，用户越活跃，服务成本越高。而硬件低毛利，长期靠 SaaS收费的商业模式，在追剧都要借会员的国内，或许并不是一个短期可以跑通的路径。把适合的任务放回端侧，可以减少这部分持续支出，让服务成本更容易预测。

其次，是数据合规。AI 开始读取代码库、订单、财报、客户资料和硬件设计文件之后，企业关心的不只是答案质量，也包括哪些数据需要离开自己的设备。本地推理让部分任务可以在数据所在的位置完成，减少上传与远程处理的必要性。对那些因为资料敏感而迟迟没有接入 AI 的工作流程，这可能是一个更容易落地的入口。

还有一类变化，发生在网络不可靠的地方。设备如果必须联网才能理解用户，它的能力就始终受到网络条件约束。耳机、眼镜和机器人尤其如此：用户不会因为信号不好，就降低对即时反馈的期待。端侧能力越强，设备在弱网或断网时能够保留的功能就越多。

成本、数据和网络，这些需求一直存在。过去的问题是，为了获得更强的模型能力，用户往往必须在其中作出让步。现在，端侧智能水平开始提高，选择才真正多了起来。

但这并不意味着所有任务都该迁回本地。

在无界方舟看来，随着端侧 AI 智能水平的突破，端与云的边界已经随之发生了三次位移。

2026 年 9 月之前，是云端为主，端侧为辅。Apple Intelligence 是这一阶段的代表：隐私保护做到了，但端上能做的事很少，真正的智力仍留在云端。

2026 年 9 月 10 日开源 Edge0-35B 之后，变成日常任务在端侧，复杂任务上云。端侧第一次接住了高频、日常、需要即时响应的需求。以某头部耳机厂商为例，无界方舟为其搭建了端云协同的解决方案，已经有 92% 的 AI 使用是通过端侧模型，仅 8% 通过云端。在可穿戴消费硬件中，日常对话占据大部分需求场景。

2026 年 11 月 13 日开源 Edge0-145B 之后，边界会再推进一步。

一个端侧为主，云端为辅的未来，或许已经指日可待。

*头图来源：无界方舟

极客一问

千亿端侧模型，
会颠覆端云分工吗？