每秒百万Token的大模型，岩芯矩阵分三步

AI写一个完整的项目，要多久？

写代码、调工具、跑测试、发现问题......再改一个稍复杂的Agent任务，生成10万token并不稀奇。

以EdgeRock-4B在单张GPU上的实测速度计算，每秒约234个token，光是把这10万token写出来，就要7分钟。

如果每秒能生成100万token呢？

0.1秒。

7分钟到0.1秒，靠的不是零敲碎打的优化，而是整套推理方式的改变。

这正是岩山科技旗下岩芯矩阵（Rock Matrix）给自己定下的目标——Ultra-Fast Token：让强模型以单用户每秒百万token的速度持续生成。

在最新的技术白皮书中，岩芯矩阵完整公开了这条路线：一个目标，三条产品线，三步走。其中第一步，已经开源。

01

模型越来越能干，却快不起来

先说说，速度为什么突然变得这么重要。

模型正在从回答问题走向完成任务。推理模型动辄思考几万token， Agent一跑就是几十轮工具调用，机器人则要让感知与推理在同一个循环里持续运行。

智能能进入多少产品，越来越取决于两件事：生成有多快，记忆能撑多久。

可偏偏在这两件事上，今天的大模型都撞上了墙。

02

卡住速度的三堵墙

第一堵，记忆墙。

今天的大多数模型把推理历史存在KV Cache里，每生成一个token就多存一份。推理越长，占的显存越多，一张卡能同时服务的请求就越少；每个新token还要回头把越积越多的历史读一遍，越写越慢。

以Qwen3.5-4B为例，一条256K的序列，光KV Cache就要8GiB。

压缩、稀疏、量化、混合架构，都在给每个token“瘦身”，但缓存仍随推理增长。放慢增长，只是把内存墙推远。

第二堵，串行墙。

自回归模型一次只写一个token，生成N个token，就要把整个模型串行算N遍。单用户解码时， GPU的瓶颈在读数据而不在计算，大量算力就这么闲着。

第三堵，搬运墙，也是最根本的一堵。

每生成一个token，处理器都要把整套权重从显存里重新读一遍。以一个约21亿参数的模型为例，即使权重量化到4位，每个token仍要搬运约913 MB。

要做到每秒百万token，就得每秒搬运913 TB，远远超出了任何存储系统的能力 。换句话说，真正卡住速度的，往往不是计算，而是搬运。

03

三条产品线，各拆一堵墙

岩芯矩阵的回答，是三条产品线， 各拆一堵墙。

把三条线串在一起的，是同一个核心技术：世界状态（World-State

模型不再保存一份越写越长的完整历史，而是维护一份容量固定的状态，用它概括此刻的世界，并随着新信息的到来不断更新。

这样一来，推理再长，内存也不会上涨 。4K和256K的推理用的是同一份内存，内存不再取决于输入有多长，而是在设计时就已确定。

这份确定性，正是后面一切提速的地基。

第一步EdgeRock：让记忆不再增长

固定内存本身并不新鲜。循环模型、状态空间模型早就做到了，可它们把历史压成一份模糊的概要，远处的关键细节一旦丢失，推理能力也随之下降。

作为参考，其他16款有界状态模型中，参数规模最大的达到14B，AIME 2024—2026三届平均成绩最高为18.8%。最大到14B，AIME 2024–2026最高只有18.8%。

难的不是固定内存，而是固定之后还记得住。

为此，岩芯矩阵原创了记忆岩锚（Rock Memory Anchors，RMA）。它的设计取意于岩锚：将推理所需的关键信息固定下来。

世界状态把历史分成三部分：循环状态抓大意，局部窗口管眼前，RMA的锚点库记关键。哪些细节值得长期保留，由模型自己学会判断；每处理256个token取舍一次，只留下得分最高的锚点。

每个锚点都标有来源位置，模型记住了什么，可以直接查看。

EdgeRock正是首个落地世界状态的模型系列。首个开源模型EdgeRock-4B由岩芯矩阵联合港科大、 CMU等完成， 支持文本与图像推理。

KV Cache砍掉99.1%的同时， EdgeRock-4B的推理能力与内存随推理增长的领先小模型处于同一水平，单卡长推理吞吐也提升到来源模型的6.42倍。

这份推理能力从哪来？推理时把RMA全部关掉，长上下文上的远距离查询正确率会从94.1%跌到0.4%。撑起推理的，正是锚点。

第二步DiffusionRock：一次生成一整块

拆掉了记忆墙，还有串行墙。

DiffusionRock不再一个token接一个token地往外写，而是一次提出一整块内容：一段代码、一组工具调用， 或者一段动作 。随后用少量几轮去噪， 集中修正不确定的位置， 简单的块还可以提前停止。

修正的轮数少于块长，串行步数就少于token数，原本闲着的算力也用上了。

与现有扩散模型不同，DiffusionRock以世界状态为条件：任务再长，每一轮去噪要读取的历史量都不变。

目前，DiffusionRock的推理速度已达到每秒1,500 token。下一步，模型与推理代码也将开源。

第三步SiliconRock：把模型完全固化进芯片

最后，也是最硬核的一步：拆掉搬运墙。

SiliconRock的回答是彻底不搬运。

4位权重和缩放系数被直接做成固定的计算路径 。权重不再是需要读取的数据，而是电路本身，生成时一个字节也不必搬运。

又因为世界状态的容量在设计时就已确定，每一层都可以把自己的状态放进就近的片上存储。在原型中，每层配有1 MiB的状态存储，而且不随上下文增长。

这样一来， 解码路径上只剩下必要的计算。就连词表输出这一步也做了就地筛选，每个token跨片传输的数据从472,576字节降到7,424字节， 减少了64倍。

百万token/s，意味着每个token只有1微秒，在1GHz时钟下大约是1,000个周期。按架构建模， SiliconRock每个token需要884个周期， 相当于每秒约113万token。

目前，SiliconRock已经在宏级原型上跑通了从模型设计到芯片版图的完整流程，完成关键电路布线，并通过固定权重计算的相关验证。

把模型做进芯片，并不是没人想过。

Taalas已经把Llama 3.1 8B固化进芯片，单用户速度约每秒1.7万token，证明了模型专用芯片的速度潜力。但它固化的是现成的全注意力模型，KV状态仍随上下文增长，搬运只去掉了一半。

岩芯矩阵则先改模型、再固化，权重和状态两项搬运都被去掉。这就是 “存算联动”：模型决定保存什么，芯片决定如何高效完成。

固化也不等于僵化。主权重和主计算图固化在芯片里，LoRA、行业词表、动作域校准和安全阈值则留在可更新的外壳中，行业适配仍然可以持续进行。

04

三条产品线，同一个模型

三条线分工不同，指向的却是同一个终点：一个全模态 、any-to-any的世界状态模型， 既能理解， 也能生成。

以英伟达的世界模型Cosmos 3为例。它的理解部分是自回归的，生成部分是扩散的，而生成部分每一步都要读取理解部分的全部历史。

岩芯矩阵的三处改造恰好一一对应：理解部分改造成EdgeRock的世界状态，生成部分交给DiffusionRock整块生成；状态与权重都固定之后，再由SiliconRock把整个模型做进芯片。

05

快起来之后，能做什么？

Agent：和前沿大模型混合加速。

Agent的大部分token， 花在写代码、调用工具、执行子任务、 反复检查和修正这些高频生成上；前沿大模型擅长的规划和关键判断， 只占其中一小部分。

分工因此很自然：前沿模型负责规划、关键判断和最终校验，岩芯矩阵的快模型承担大量高频生成。恒定内存还让Agent的历史内存不再随工具调用次数增长。

物理世界：赶上控制窗口。

机器人、车载和工业设备都按固定的控制窗口工作， 结果必须在窗口内返回，模型才能参与本轮动作。恒定内存让感知与推理能在同一个循环里一直跑下去， 高速生成则让候选动作和轨迹更早返回。

部署：从端侧到数据中心。

数据中心承接长推理和Agent，区域边缘让企业和园区共享推理能力，端侧则在隐私、弱网和现场响应的场景中本地运行；SiliconRock服务其中调用量大、形态稳定的负载。

无论部署在哪里，每条请求要多少内存，推理开始前就能算清楚。

路线图

三条产品线，指向同一个目标：Ultra-Fast Token。

强推理，不需要一份随每个token增长的记忆。

岩芯矩阵的路线，可以概括成一句话 ：先让记忆不再增长，再把这份确定性一路转化为速度。

EdgeRock让吞吐提升到数倍，DiffusionRock让生成整块完成，SiliconRock让单用户每秒百万token成为设计目标。

这就是Ultra-Fast Token：强，而且快。

EdgeRock-4B已开源：

GitHub：

https://github.com/rockmatrix-ai/EdgeRock

Hugging Face：

https://huggingface.co/rockmatrix-ai/EdgeRock

官网链接：

www.rockmatrix.ai