当万亿级大模型“瘦身”进PC：明略科技(2718.HK)的端侧破局逻辑

过去几年，AI行业的一条主线，是把模型做得越来越大、越来越强。但当模型进入Agent和复杂工作流之后，一个新的问题开始浮现：模型能力越强，消耗的Token也越多，推理成本正在成为AI规模化落地绕不开的一笔账。

这也让AI产业的关注点开始从“模型还能做多大”，逐渐延伸到“这些能力究竟应该在哪里运行”。云端依然是主战场，但端侧AI正在出现新的想象空间：如果最前沿的模型，不只是部署在数据中心，而是能够真正跑进普通用户的办公设备，会发生什么？

这并不只是把模型简单“缩小”。模型怎么取舍、硬件怎么适配、推理框架怎么改变，都需要重新设计。

明略科技副总裁、多模态首席科学家赵晨旭在内部战略会上，分享了对端侧模型创新的系统思考。基于模型的Scaling Out，他试图回答一个问题：如何让最前沿的AI能力，从云端的数据中心，真正走到每个人的办公设备上。这背后，可能也是端侧AI从“跑得动小模型”走向“跑得动大模型”的一次范式变化。

图片来源：明略科技

以下为部分内容摘编：

AI能力越来越强，但背后消耗的Token和算力成本也越来越高。我们不妨换一个角度来看。假设有一天，像Fable 5这样的旗舰模型毫无条件地开源了，会发生什么？

这个问题其实并不是一个遥远的假设。现在已经出现了越来越接近这一水平的开源模型，比如Kimi K3。我们自己最近也做了一些测试，基于明略科技构建的大规模 Web Agent 综合评测基准 WebRetriever，K3在最难的协议三上已经达到了第一名的水平。

也就是说，“有没有接近顶尖闭源模型能力的开源模型”，这个问题已经开始有答案了。新的问题随之而来：如果模型真的开源了，我们能不能把它用起来？

像K3这样的模型，完整MoE参数规模大概在2.8万亿，激活参数也达到千亿级别。对于普通企业，甚至普通个人来说，即使模型开源了，也不意味着真的能够使用。所以我觉得，未来一段时间AI行业可能会出现一个很有意思的变化：过去我们一直在想怎么把模型做得更大，接下来可能要开始想，怎么把这些已经足够强大的模型，缩小、拆解，并最终放到我们自己的电脑上。

这也是我们当下讨论端侧模型创新的出发点。

过去解决的是“把模型做大”，现在开始解决“怎么把模型用起来”

图片来源：明略科技

回头看过去几年大模型的发展，其实一直围绕三个东西展开：模型、硬件和推理框架。

模型层面，大家遵循的是Scaling Law，不断Scaling Up。参数越来越大、数据越来越多、训练算力越来越强，模型能力也越来越强。为什么模型需要做到这么大？一个很重要的原因，是这些模型面对的是全世界、千行百业的用户。一个通用模型既要服务金融客户，也要服务研发人员，还要处理代码、搜索、办公、科学计算等各种任务。为了覆盖这么广泛的数据分布和任务需求，它自然需要越来越多的专家。

所以，一个模型拥有数千亿参数、数百甚至上千个专家，并不是没有原因。

但问题在于，对于一个具体的人、一个具体的企业来说，真的需要这么多专家吗？

可能并不需要。一个金融从业者需要的，可能主要是金融领域的能力；一个研发人员可能更需要Coding、Web Search或者AI for Science相关能力。对于一个具体的用户来说，我们真正需要的可能只是一个大模型里面的十几个、几十个专家。

如果从一个个体、一个企业的实际工作场景出发，我们真正需要的可能只是其中一部分能力，那么问题就变成了：能不能从一个巨大的通用模型里面，把真正属于我的那部分能力拿出来？

如果模型可以因此变小，第二个问题也就出现了：它能不能跑在我们每天办公用的PC上？如果普通PC本身的算力、显存和内存并不完全匹配，我们是不是还可以通过新的硬件和推理框架，把它真正跑起来？

所以现在摆在我们面前的问题，已经和几年前不一样了。过去的问题是：怎么把模型做得更大？现在的问题变成：怎么把已经足够强的模型，真正放到用户手边？如果模型、硬件和推理框架这三个问题都能够解决，那么Token ROI的逻辑也会发生变化。

如何通过Scaling Out把模型变小的同时，还保留专家能力？

说到把模型做小，大家第一反应可能是蒸馏。蒸馏当然是一个成熟的方法，但我们这次分享的是另一种新思路，也就是Scaling Out。

Scaling Down，也就是传统的蒸馏，是在保持模型通用性的前提下，把模型做小。它牺牲的是单个专家的能力，但尽可能保留原来的数据分布和专家分布。

Scaling Out的思路则不太一样。它愿意牺牲一部分数据分布和专家分布，但希望保留下来的专家，本身的能力尽可能不打折扣。

图片来源：明略科技

可以把原来的大模型想象成一个很大的圆。Scaling Down是在把这个大圆整体缩小，而Scaling Out更像是从这个大圆里面，把与你真正相关的几个小圆拿出来。

这样做的关键，就不再是简单地把模型压缩，而是先回答一个问题：对于特定用户、特定企业、特定业务场景，到底哪些专家真正有用？

所以Scaling Out的第一步，其实不是训练，而是观察用户。我们需要根据用户是谁、平时做什么工作、实际任务是什么，构造对应的数据集。然后把这些任务放进一个足够大的模型里跑，通过模型原有的路由机制观察：完成这些任务时，到底激活了哪些专家。比如Coding任务可能经常激活某些Coding专家，Web Search可能激活另外一些专家。

大量任务跑下来之后，我们就可以统计不同专家的使用率、特异性，以及哪些任务必须由几个专家组合起来完成。最后得到的不是一个“通用模型”，而是一个针对具体用户、具体企业任务的最小专家集合。

原来可能是万亿参数、千万个专家，经过这种筛选之后，可能只需要其中的一部分。然后再针对这个新的专家集合重新设计路由、进行训练和微调，最终得到一个更适合具体场景部署的模型。

所以Scaling Out真正想解决的，并不是单纯的“模型压缩”，而是：一个通用大模型里，有多少能力其实是我不需要的？能不能只把我需要的能力带走，同时尽可能保留这些能力原本的性能？

这也是我们认为Private AI可能出现的一个重要技术基础。未来，一边可能继续有人去追求越来越强、越来越通用的AGI模型；另一边，也可能出现越来越多面向企业和个人的Private AI。它们不需要拥有整个世界的知识，而是只需要拥有自己真正需要的那部分专家能力。模型变小之后，如何让普通办公电脑跑起来？

模型变小只是第一步，接下来更现实的问题是硬件。

现在的消费级PC其实处在一个很有意思的状态：有些机器算力够，但是显存不够；有些机器内存很多，但是缺少能够运行大模型的算力。所以我们今天经常看到的是，普通电脑运行4B、8B模型已经不稀奇，但如果告诉大家，一台普通办公PC也可以跑120B级别的模型，而且可以断网运行复杂的Coding任务，可能就比较有意思了。

这件事情我们已经在实际设备上做了验证。我们在一台普通的电脑上，部署了SOTA大模型。我们也把明略自研的人和Agent智能工作平台Octo和OpenAI的Codex接到了这套环境里面，可以直接把网络断掉，让模型在本地完成任务。

这背后其实反映了一个重要变化：端侧AI的门槛正在从“有没有GPU”，逐渐变成“能不能把现有设备的计算和存储资源真正组织起来”。

一台本地办公电脑能否真正跑起来大尺寸模型，取决于模型、推理框架与硬件三者能否协同配合。围绕这一方向，明略科技也在持续探索，并将于后续发布最新进展。

端侧AI的价值，最终还是要回到“为什么值得跑在本地”

如果模型、硬件和推理框架这三个问题都解决了，那么端侧AI的价值就不只是“技术上能跑”，它会直接改变AI的经济账。

以前，我们使用AI，本质上是在租用别人的GPU。我们向云端发送请求，云端完成推理，然后按照Token付费。但如果越来越多的模型可以直接跑在自己的电脑上，那么AI就可能从“持续租用算力”，变成“一次性拥有计算能力”。

同时，端侧AI还意味着安全和循环经济两个很现实的价值。

一个是安全和断网能力。对于一些对数据安全有特殊要求的企业，模型不能联网，也不适合把数据发送给外部云端模型。端侧AI天然提供了一种新的选择：模型、数据和任务都可以留在本地。

另一个是内存利旧。今天大家手里的很多设备仍然拥有相当可观的存储资源。过去这些资源很难直接参与大模型推理，而通过新的模型架构和推理框架，它们开始有机会成为AI基础设施的一部分。把最前沿的AI能力，从云端带到每个人身边

过去AI行业一直在做Scaling Up：模型越来越大，参数越来越多，算力越来越强。这条路线还会继续。但与此同时，我们认为可能会出现另一条路线——Scaling Out。

不再要求每一个人都拥有完整的通用大模型，而是从最强的基础模型里找到真正属于自己的那部分专家能力；然后再解决两个问题：怎么让它跑在普通硬件上，以及怎么让它以足够低的成本运行。

所以从模型，到硬件，再到推理框架，其实是在解决同一个问题：如何把最前沿的AI能力，从云端的数据中心，真正带到用户的办公设备上。

以前我们讨论端侧AI，更多是在讨论“小模型”。但未来的端侧AI，未必等于小模型。它更可能意味着：模型可以很强，但只运行你真正需要的那部分能力；模型可以很大，但不需要全部放进显存；设备可以很普通，但能够把CPU、GPU、内存、SSD乃至外部算力组织起来。

最终的目标不是让每个人拥有一台超级计算机，而是让我们今天正在使用的办公设备，逐渐拥有运行最前沿AI能力的可能性。

关于明略科技

明略科技（2718.HK），成立于2006年，中国领先的具备自研模型能力的Agentic Service企业。2025年作为"全球Agentic AI第一股"登陆港交所。曾两度斩获吴文俊人工智能科学技术奖，多次入选Gartner、IDC相关报告，拥有2400余项技术专利及500余项软件著作权。近年来，多个AI模型在全球权威榜单取得领先成绩。依托20年技术积累，明略科技已服务135家财富世界500强、约2100家品牌客户及超24万家企业用户，覆盖零售、消费品、汽车、3C等行业。