深挖苹果 AI 报告：端侧内存占用少 37.5%、云端创新 PT-MoE 架构

IT之家 7 月 22 日消息，科技媒体 9to5Mac 昨日（7 月 21 日）发布博文，挖掘苹果新技术报告论文，探究其 AI 模型的训练、优化及评估过程，并揭示了诸多幕后技术细节。

这份报告全称为《Apple Intelligence Foundation Language Models – Tech Report 2025》，详尽描述了苹果在多个 AI 方面的处理，涵盖模型架构、数据来源、预训练、后训练、工具开发、优化措施以及性能基准等。

该媒体解读该技术报告，挖掘了 4 个值得关注的要点：

端侧模型双区块设计

此前消息显示，苹果的 AI 模型将采用端侧 + 云端组合方式，端侧模型规模大约为 30 亿（3B）个参数。

根据最新公布的技术报告，苹果端侧 AI 模型分为 2 个区块（Blocks），其中第 1 个区块包含大约 62.5% 的 transformer 层，而第 2 个区块包含大约 37.5% 的 transformer 层，但移除了键（Key）和值（Value）的映射。

苹果表示这种分割方式，在不影响模型的总体性能和输出质量的情况下，让模型在缓存时，减少了约 37.5% 的内存需求，同时输出第一个 tokens 的时间也缩短了 37.5%。

云端模型采用创新架构

对于服务器端模型，苹果开发了一种专门为其私有云计算平台量身定制的架构，名为 Parallel-Track Mixture-of-Experts（PT-MoE）。

简单来说，混合专家（Mixture of Experts）模式意味着，不是依赖单一的大型 AI 模型，而是将其拆分为多个较小的子网络（或称为专家），只有在任务与它们的专长相关时才会激活这些子网络。

因此，如果输入提示与烹饪相关，只会激活烹饪领域的专家，而其他专家则保持休眠状态。这样，虽然整体模型依然庞大，但其模块化的设计使得模型能够更快、更精确地响应。

苹果构建了一种名为 Parallel Track Transformer 的新型 Transformer，并利用混合专家（MoE）层对其进行扩展。听起来可能很复杂，但关键在于：

传统的 Transformer 模型会通过一个层的堆栈依次处理 tokens，而苹果的设计则是将模型分为多个并行的轨道。每个轨道独立处理 tokens，并在某些点进行同步。

在每个轨道内，苹果将每个其他常规 Transformer 层替换为 MoE 层，每个标记只激活几个专家，而其他专家保持空闲。由于每个轨道都有自己的本地专家，模型避免了在整个系统中协调时的处理瓶颈。

再加上一个平衡本地上下文与整体理解（称为交织全局和本地关注层）的巧妙设计，最终形成了一个模块化、高效、可扩展的模型，速度更快、更精简，同时保持了高度的智能。

苹果大幅提升多语言支持

Apple 智能最初推出时最受诟病的问题之一（现在依然存在），是英语之外的语言支持有限。随着新模型的发布，苹果扩展了语言支持范围，并在报告中详细介绍了实现这一目标的步骤。

报告中提到，苹果将训练过程中使用的外语数据量从 8% 增加到了 30%。苹果还将其标记器的容量增加了 50%，意味着模型现在能够识别 150K 个不同的标记，而之前只能识别 100K 个。

数据收集

另外是关于数据收集方面，可以参考IT之家此前发布的博文。

苹果在新发布的研究论文中表示，如果出版商不同意其数据被抓取用于训练，苹果公司将不会抓取这些数据。

我们相信，使用多样且高质量的数据来训练我们的模型是必要的。这些数据包括我们从出版商那里获得授权的数据、公开可用或开源数据集中的数据，以及通过我们的网络爬虫 Applebot 抓取的公开信息。