清华系团队发布国产Token优化工厂：兼容10余种国产芯片，日吞吐千亿Token

允中 发自 凹非寺
量子位 | 公众号 QbitAI

AI基础设施的竞赛规则，正在被改写。

上半场比的是谁的卡多，下半场比的是谁能把卡用好

7月17日，WAIC 2026上海开幕，智算赛道200多家企业同台，新品密集发布。

但在一片“晒芯片、秀参数”的声浪里，是石科技的发布会却显得有些不同：

是石科技创始人兼董事长闫博文在台上，不讲芯片，不讲模型，只讲一个词：效率

△WAIC 2026是石科技创始人兼董事长闫博文新品发布现场

因为中国的算力，正在被大量浪费——50多个智算中心，超过1000 EFLOPS的智能算力规模，平均利用效率却远远没有跑满。

算不快、长上下文响应下降，是普遍现象。

是石给出的解法，叫拓元（Vectron），一座国产Token优化工厂

效率，才是未来AI基础设施的关键词

中国已建设50多个智算中心，智能算力总规模已超过1000 EFLOPS。

但平均利用效率仍有巨大提升空间。

“大量算力正在被浪费，算不快、长上下文多模态响应下降，是普遍现象。”闫博文说。

是石科技依托国家级计算中心工程经验积淀，持续投入大规模集群研发，建设万卡级国产大集群，持续稳定运营，优化推理效率，构筑了深厚壁垒，率先打通从底层芯片到上层应用的超智融合全链路，真正把国产大集群从“点亮”变成“跑满”，让庞大国产算力切实转化为产业可用的Token稳定生产力。

“所以我们在重新思考，算力基础设施建设提速的同时，如何进一步释放算力价值？”闫博文认为，“十五五”期间，中国算力产业总投资预计达到7万亿元。

如果算力利用效率能够提升十到二十个百分点，也将释放万亿级的算力价值空间，会让各行各业以更低的成本进入到AI的世界里，激发出更多的应用需求。

这背后的一个潜台词是行业共识的转折：AI基础设施的竞争，正从“算力规模竞赛”转向“算力效率竞赛”。

未来AI基础设施的关键，不只在于芯片数量，更在于能否将芯片、互联、内存、散热、调度与软件栈整合为稳定可用的大规模系统

拓元，正是是石科技为这场“效率竞赛”交出的系统性答卷。

让每一份算力，转化为稳定、高效、有价值的Token

目前AI基础设施面临的效率难题主要包括：异构算力难以统一调度、大模型推理缺乏深度优化、长上下文导致显存与成本压力骤增、国产芯片生态适配成本高昂等。

针对这些痛点，拓元不应只是一个模型，也不只是一个工具。是石科技希望打造的，是一套完整的AI Infra优化体系

具体来说——

在任务自适应优化上：依托请求画像匹配最优计算链路，算力按需分配，减少资源浪费。

不同的推理任务自动匹配最合适的算力资源，而不是“一把抓”。

• 在算子库优化上：硬件专属算子融合编译，充分释放芯片极限算力。这意味着每颗国产芯片不再只是“能用”，而是被“榨”出了最优性能。
• 在模型与推理框架优化上：兼容主流国产芯片与大模型，异构深度调优，提升业务并发量。
• 在异构集群调度上：破除跨地域、多芯片算力孤岛，统一纳管调度，盘活闲置算力。

闫博文介绍，拓元全面兼容昇腾、昆仑芯、天数智芯、太初、瀚博半导体、摩尔线程、沐曦、燧原等10余种国产算力芯片，适配20余个主流模型，实现国产异构算力池的统一调度与推理加速，每日Token吞吐量达千亿级别。

对于企业客户而言，这意味着不管你的底层跑的是什么国产芯片，拓元都能让你的算力资源池被统一管理、优化调度，最终产出更多可用的Token。

用核心技术突破，把算力“榨”到极致

发布会上，闫博文重点介绍了拓元的多项核心技术突破，每一项都指向企业使用大模型过程中的真实痛点。

KV Cache压缩：让长文本不再烧钱

企业使用大模型时面临一个现实的问题，就是模型越来越强，运行成本也越来越高。

尤其当上下文变长时，显存压力急剧攀升。

传统方法更多依赖输入阶段判断信息价值，但在真实业务中，模型需要关注往往动态变化的是什么。

拓元的结果感知驱动KV Cache压缩技术，可以在不牺牲模型效果的前提下，显著压缩KV Cache、降低显存压力，让长文本、大规模AI应用真正能够经济地运行。

全模态推理的Token压缩：让AI学会抓重点

在大模型运行过程中，并不是所有信息都具有同等价值。

如何保留关键Token、减少无效计算，是效率提升的核心命题。

拓元在全模态场景中提出了基于模态自适应的免训练Token压缩方法，针对文本、视频、语音等不同输入，实现更加精准的信息筛选。

这意味着未来AI可以用更少计算完成更复杂任务，可以预见的是，在多模态时代，这个能力会越来越重要。

长上下文优化：百万级信息的高效处理

企业知识库、智能助手、复杂分析任务，越来越多场景要求模型具备超长记忆能力。

拓元通过混合位置索引合成的长上下文偏好训练方法，以及记忆引导的重读机制，在远小于同类方法的训练数据量下实现了显著效果提升。

可靠深度推理：让AI学会自我优化

传统的大模型部署后，往往需要大量人工反馈来持续优化输出质量，这就像养了一个需要不断投喂、调教的系统。

拓元提出的“基于元奖励的可扩展奖励建模方法”突破了这个难题。

闫博文将其比喻成从“养一个需要不断人工训练的AI”变成“部署一个能够持续自我优化的AI系统”。

对于企业来说，这意味着AI落地成本的大幅降低。

系统能够理解企业标准，在复杂业务场景中持续输出稳定、可靠、符合要求的结果。

智能体长程任务记忆机制：确保长程agent任务的稳定执行

智能体在执行长程检索任务时，有时会无法判断缺失信息或未读到的，是已经被丢弃还是不存在的，从而产生负面影响。

拓元明确了以目标导向的信息记忆策略，突破稀疏信息难监测、长程建模受限资源限制、注意力机制的二次复杂度开销大的难题。

闫博文表示，拓元可以帮助模型实现更低训练成本，更高上下文理解能力，更强复杂推理能力

我们希望AI不只是能够回答问题，而是能真正理解复杂世界。

△是石科技国产Token优化工厂“拓元”Vectron产品亮点

从技术到产品的关键一跃

是石科技成立于2021年，创始团队源自清华大学计算机系，具备国家级计算中心工程化经验。

闫博文本人是清华大学航院博士、计算机系博士后，核心成员主要由高性能计算、人工智能等领域的资深专家，以及清华大学、北京大学、北京航空航天大学等重点高校学者组成。

过去几年，公司快速成长，已服务超过200家重点客户，覆盖互联网大厂、头部大模型公司、航空航天、生物制药、新能源等行业，在并行优化、算力调度等业务上形成了深厚的技术护城河。

拓元的发布，意味着是石科技将领先的技术能力凝结成了一个商业化和标准化的产品，驶上了规模化发展的快速路。

闫博文在发布会上强调：

技术创新的最终目的，不是停留在实验室，而是创造产业价值。

不仅如此，拓元也再次明确了是石科技独特的赛道占位。

国产芯片生态的成熟需要“中间件”，未来中国AI产业必然需要构建自主可控的技术体系。

像拓元这样能够统一管理异构资源、屏蔽底层差异的平台，是国产算力生态走向“好用”的关键拼图。

在算力效率这个命题上，当大多数人还在讨论该怎么做的时候，是石科技已经把产品摆到了WAIC的展台上，也打开了公司从算力服务到Token服务的商业化新空间。

闫博文在本次发布会结尾说：

对于我们这些技术出身的人来讲，最希望听到的声音就是两种，第一是每次交付给客户的大规模集群，满负荷跑起来发出的万卡集群的轰鸣声；
第二就是我们每次帮用户优化终极效果之后，客户对我们的高度评价。
这两种声音我们认为也是未来中国的AI走得更强、走向世界的最强音。

*本文系量子位获授权刊载，观点仅为原作者所有。