品玩11月11日讯,谷歌近日宣布,其分布式训练系统 Pathways 在 Google Cloud 正式开放。该系统由谷歌自研,用于训练 Gemini 等自有大模型,此次对外商用,标志着支撑前沿模型研发的基础设施能力同步开放。
大模型训练多采用SPMD模式,加速器锁步执行。一旦任务不再均质,如流水线各阶段相互等待,或采样器、奖励模型、训练器三类程序需重叠运行,协调难题便凸显,单台机器故障即致整体回滚。Gemini 2.5训练每小时曾因硬件故障中断多次。
Pathways以单一客户端把整体计算描述为一张图,由分布式运行时负责算子放置、张量搬运与统一调度,并借助虚拟设备实现弹性训练:主机故障时自动重映射至健康芯片,无需整体重启。系统另提供共享集群与异步派发机制以提升利用率。谷歌称,Pathways与Ray处于不同层级,二者可互补。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.