硬核博主用四台Mac Studio打造AI集群：1.5TB统一内存、总价接近4万美元

YouTube 博主 Jeff Geerling 近日发布了一篇博文和一段视频，详细介绍了他使用 Mac Studio 打造 AI 集群的体验，主要展示了 Thunderbolt 5 接口在集群计算中的应用。

苹果最新 macOS 26.2 加入了 RDMA（Remote Direct Memory Access） over Thunderbolt 5 支持，这让多台 Mac Studio 能够像共享同一块大内存一样协同工作。

简单来说，利用 RDMA，数台 Mac Studio 之间可以直接在内存层面高速交换数据，延迟明显降低（显著优于传统网络传输方式）。

这次测试中，Jeff Geerling 将 4 台配备统一内存的 Mac Studio 组合成一个“集群”，合计达到 约 1.5 TB 的内存池容量（每台机器共享内存，看起来像是拥有一块巨大的虚拟内存）。

用途与性能亮点

• 该内存融合技术对 运行超大 AI 模型有明显提升，特别是模型参数巨大的推理任务上表现出更流畅的数据交换。

• RDMA 让各台机器间的数据访问延迟从数百微秒降到几十微秒级别，极大改善了协同计算效率。

• 使用开源项目 Exo 1.0 管理集群内的任务分配与内存共享，是实现协作运行的重要工具。

实际配置与成本

• 这套四机集群的硬件成本接近 4 万美元，主要由 Mac Studio 本体构成。

• 单机运行本身就具有非常强的性能表现：M3 Ultra Mac Studio 在多核计算和 AI 推理任务中不弱于某些专业服务器。

下面是一些性能测试对比：

虽然 RDMA over Thunderbolt 5 是一项令人振奋的进展，但当前仍有一些限制，比如需要手动启用 RDMA，且设置过程比较繁琐。此外受限于 Thunderbolt 连接拓扑，目前最多只能通过点对点方式交叉连接最多 4 台机器。对比传统企业级互连（例如 QSFP 或 InfiniBand），Thunderbolt 的物理插拔与连接方式还不够成熟。

Jeff Geerling 展示了 macOS 平台上借助 Thunderbolt 5 RDMA 构建协同大内存 AI 计算集群的可能性。对于研究者和开发者来说，它代表一种在桌面级硬件上实现超大规模模型运行的新思路，尤其是在不依赖大量 GPU 的情况下。尽管尚有一些工程与生态限制，但这一进展对于本地 AI 开发、HPC 协同计算都有重要参考价值。