网易首页 > 网易号 > 正文 申请入驻

专访|两位华人主导创办,Jeff Dean参投,伯克利开源项目SkyPilot转型初创

0
分享至



前沿模型团队的算力来源正在变得越来越多样,有时,一家公司为凑齐够用的图形处理器(GPU),需要同时对接近 10 家云服务商。训练任务在不同厂商之间来回搬迁,单次故障排查都会花费数小时甚至更久。

算力的瓶颈正在从不够用变成“太碎了”,如果按照传统方式管理万卡集群,效率和成本负担都是不能承受之重。为解决这一问题,开源 AI 算力调度项目 SkyPilot 应运而生。7 月末,SkyPilot 走出高校,成长为一家初创,并宣布完成 2,000 万美元种子轮融资。

管理算力是门怎样的生意?SkyPilot 联合创始人兼 CEO 杨宗衡告诉 DeepTech:“当你的 GPU 集群每天烧掉超过 100 万美元,要优化的就不只是机器,还有围绕这些机器的人的协调方式。”

高校开源项目孵化了一家初创

2023 年春天,Meta 开源了 Llama。加州大学伯克利分校(UC Berkeley)天空计算实验室(Sky Computing Lab)的研究团队想用它训练一款能对标 ChatGPT 的开源模型,但只靠一家云服务商,无法凑齐所需的全部 GPU。

为了解决算力问题,他们选择把训练任务分散到多家云厂商,再通过一款自研调度工具串联起来。团队最终训练出 Vicuna,这一度是开源社区里最接近闭源前沿模型的选择,也是后来大模型竞技场(LMSYS Chatbot Arena)生态的起点。而让这次训练变得可行的算力调度工具,就是 SkyPilot。

工具的核心开发者是当时还在读博的杨宗衡和吴章昊,2023 年,他们在网络系统设计与实现研讨会(USENIX NSDI)会议上发表了 SkyPilot 的核心系统论文;次年,团队更进一步,研究如何在有截止日期的训练任务里,最大化利用便宜但可能被抢占的竞价实例。

SkyPilot 项目后续被开源社区广泛采用,截至目前,累计下载量超过 1,400 万次。使用群体也不乏各个领域的巨头:例如拥有 10 万+ GPU Slurm 集群的 Meta FAIR、加拿大电商 Shopify、巴西数字银行 Nubank,以及法国 AI 智能体公司 H Company 等。

回望陡峭上升的采用曲线,SkyPilot 另一位联创兼 CTO 吴章昊表示,早在 Vicuna 训练阶段,团队就意识到,SkyPilot 有可能成为前沿 AI 研究的“必需品”。

在天空计算实验室,SkyPilot 进入产业的路径并不算新事。分布式系统专家、实验室联合发起人伊恩·斯托伊卡(Ion Stoica)教授此前孵化过两个明星项目:开源大数据处理框架 Apache Spark 成长为大数据分析公司 Databricks;开源分布式计算框架 Ray 则发展为 AI 应用平台 Anyscale,并被 AI 云基础设施公司 Nscale 宣布以 16.5 亿美元收购。

伊恩也曾亲身体验过跨云跑训练任务之艰巨。他曾透露,把 Databricks 从“一朵云”扩展到“两朵云”耗掉了“一年的工程苦力”。ChatGPT 引爆算力需求之后,这种痛楚不再是极少数公司的问题,每个想亲自训练模型的团队都要同时对接多家供应商,把碎片化的 GPU 拼成可用集群。


图 | Skypilot 创始团队(来源:Skypilot)

在这一规模上,比机器故障更大的问题是协调人和人、项目和项目之间的关系。吴章昊告诉 DeepTech:“哪个项目能用多少 GPU,谁有权限抢占别人的任务,紧急任务如何插队,故障如何自动处理,如何整理集群碎片以保证利用率,在几十人的小团队里这些是发一条消息就能协调的事;在有几百名研究员共用万卡集群的组织里,就必须由平台原生支持。”

如果能减小甚至消除这些内部摩擦,将带来实打实的利润空间增长。假设客户每年在 GPU 上的花费为 1 亿美元,SkyPilot 通常可为他们多挤出 10% 的利用率,即省下 1,000 万美元。这只是效率一条线上的收益,还不包括跨云比价、故障自动恢复、多云容灾等能力。

作为脱胎于开源项目的初创公司,哪部分保留开源,哪部分放进商业产品是绕不开的问题。吴章昊对此表示:原先开源的部分依然保持开源,主要集中在服务个人的能力,服务组织规模化的能力则由公司进行商业化。

目前,任何研究员或小团队依然可以免费用 SkyPilot 把训练任务跑在任何一家云上。而当团队规模扩大到几十人乃至上百人、要管理万卡级 GPU 集群时出现的新需求,如权限调度、多租户隔离、集群碎片整理、组织级最佳实践的原生编码等,则被放进商业化的 SkyPilot Platform。

AI 编排的终点:打造定制智能

领投方 Lux 合伙人布兰登·里维斯(Brandon Reeves)判断,SkyPilot 现在“大概只完成了 1%”,免费版和商业版指向的问题层次并不重合,风险投资人看好这个项目更广阔的 To B 潜力。

此外,Databricks、Vercel、Replit、Hugging Face 的现任 CEO,谷歌 DeepMind 前首席科学家等人参与跟投。这批一线掌舵者运营的组织,都重度依赖大规模 GPU 集群,是 SkyPilot 的最佳目标客户。早前的开源项目已为 SkyPilot 积累起足够的信任度,站上商业化起点后,他们顺势获得了强大的企业背书。


(来源:SkyPilot)

SkyPilot 切入的是一个被称为“AI 编排”(AI Orchestration)或“GPU 调度层”的赛道,负责为不同的训练与推理任务分配运行位置和运行时间。

市场对这一层的估值正在快速抬升,分析机构数据显示,AI 编排 2026 年的市场规模约为 140 亿美元,2034 年预计增长至 600 亿美元以上。

在这一层,AWS、微软 Azure、谷歌云等大云厂商已分别建立了基于自家算力的编排平台;此外,CoreWeave、Lambda Labs、Nebius 等“AI 原生云”(neocloud)厂商大多专注为 AI 工作负载建设 GPU 数据中心,并提供相应调度方案。他们做算力编排,底层目的还是留住客户的工作负载。

硬件层的防御动作也值得关注。2024 年 4 月,英伟达宣布以约 7 亿美元收购以色列 GPU 编排公司 Run:ai,并承诺开源后者全部软件,这一动作可视为其对 CUDA 生态的一次防守性延伸:避免云厂商各自的编排层不断壮大,反而把英伟达的 GPU 变成“可替换品”。

放眼整个行业,SkyPilot 几乎处于绝对中立的位置:客户自带算力(业内称为 BYOC,Bring Your Own Cloud),SkyPilot 只负责提供调度方案,整合散落各处的资源,提高利用效率。这样一来,前面提到的所有对手反而可能成为 SkyPilot 的合作伙伴。

不过,这种商业模式同样存在“偏袒”某家云厂商的隐患:如果 SkyPilot 允许客户按价格、可用性或性能在不同云之间随时切换,他们对特定云厂商的依赖将减弱。作为中间层,SkyPilot 理论上具备把流量引向出价更高云厂商的空间。

被问到如何抵挡这种“引力”时,吴章昊告诉 DeepTech:与其对抗,不如让它变得无关紧要。公司不计划建设自有算力中心,也不会做代理转售,只专注于打磨客户自带的算力设施。而这一层建得越好,云厂商就越有动机以更具性价比的方案自发争夺客户流量,进而推动整个 AI 算力市场正向发展。

基于这一乐观预期,DeepTech 向杨宗衡抛出一个问题:赛道上的下一站在哪?对此,他给出了一个更长期的判断:异构算力覆盖 AI 全生命周期,这是未来最有潜力的技术空白。

“我们已经解决了跨云跑训练任务的问题。接下来要处理的是:能不能用一个平台同时承载训练、强化学习、推理、评估和智能体,在具有不同故障特征和性能曲线的异构硬件上,把每一份工作负载自动路由到最合适的算力上?”

如果 SkyPilot 的愿景能实现,“定制智能”(custom intelligence)会从少数前沿公司的能力变成任何有雄心的组织都能构建的产品。杨宗衡表示,这将塑造 AI 应用的下个阶段:无需给模型套壳,每个企业都将有能力亲自训练专属模型。

参考内容:

https://fortune.com/2026/07/21/skypilot-from-databricks-cofounder-raises-20m-to-be-the-switzerland-of-ai-compute/

https://skypilot.ai/blog/skypilot-the-company

https://www.fortunebusinessinsights.com/ai-orchestration-market-107177

运营/排版:何晨龙

注:封面/首图由 AI 辅助生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄一鸣自曝:王思聪每次约她,车费都给10万,来给5万,回再给5万

黄一鸣自曝:王思聪每次约她,车费都给10万,来给5万,回再给5万

汉史趣闻
2025-06-24 10:07:59
菲律宾变了!一旦中菲开战,中国的这些岛礁恐怕真守不住了?

菲律宾变了!一旦中菲开战,中国的这些岛礁恐怕真守不住了?

此去经年q
2026-08-08 09:51:45
铜根本用不完,1吨铜却涨到1.4万美元:美国囤铜,把上海库存抽干

铜根本用不完,1吨铜却涨到1.4万美元:美国囤铜,把上海库存抽干

史之铭
2026-08-11 17:10:34
任天堂官宣12月进军全新市场!NS1&2双机型同步首发

任天堂官宣12月进军全新市场!NS1&2双机型同步首发

游民星空
2026-08-12 08:11:17
如果2010年你买了1000块比特币,今天你大概率还是穷光蛋,没啥好羡慕

如果2010年你买了1000块比特币,今天你大概率还是穷光蛋,没啥好羡慕

怪味历史连连看
2026-08-02 12:42:01
不仅有吊梢眉、眯眯眼的红军战士,还有表情怪异、目光呆滞的祖国青年,清华博士丑化国人,评论区呼吁严查!

不仅有吊梢眉、眯眯眼的红军战士,还有表情怪异、目光呆滞的祖国青年,清华博士丑化国人,评论区呼吁严查!

谭谈社会
2026-08-12 11:50:50
2005年与2025年的张靓颖,女人过了30,越来越有女人味

2005年与2025年的张靓颖,女人过了30,越来越有女人味

娱你同欢
2026-07-29 22:42:29
他达拉非一片管36小时,是“神药”还是科学?科学解释来了

他达拉非一片管36小时,是“神药”还是科学?科学解释来了

奇妙的本草
2026-08-12 12:20:07
上海交大发现:体内有恶性肿瘤的人,身体一般或可能有5个表现?

上海交大发现:体内有恶性肿瘤的人,身体一般或可能有5个表现?

垚垚分享健康
2026-08-12 17:22:12
感染新冠,再度唤醒体内“沉睡”病毒!Nature重磅:近50%住院患者检出多种重新激活的潜伏病毒,加剧长新冠症状

感染新冠,再度唤醒体内“沉睡”病毒!Nature重磅:近50%住院患者检出多种重新激活的潜伏病毒,加剧长新冠症状

梅斯医学
2026-08-12 07:54:46
人社部会议解读:别等涨工资了,未来风向已改变

人社部会议解读:别等涨工资了,未来风向已改变

迷彩人生
2026-08-12 13:52:14
春晚一跳封神,被 400 亿东莞首富娶回家,如今孩子已经上小学了

春晚一跳封神,被 400 亿东莞首富娶回家,如今孩子已经上小学了

历史的烟火
2026-08-04 05:21:15
广东一学校党委原书记,被查

广东一学校党委原书记,被查

南方都市报
2026-08-12 12:11:47
外交部:中印边境局势总体稳定

外交部:中印边境局势总体稳定

界面新闻
2026-08-12 19:54:28
第一集就全裸出镜,Netflix重磅巨作终于回归

第一集就全裸出镜,Netflix重磅巨作终于回归

来看美剧
2026-08-08 00:04:18
辛酸!国米飞翼被3000万欧卖给罗马 要求主帅亲口告诉他不在计划中

辛酸!国米飞翼被3000万欧卖给罗马 要求主帅亲口告诉他不在计划中

雪狼侃体育
2026-08-12 16:29:34
实话实说!没有2米26的张子宇,中国女篮就显得不会得分

实话实说!没有2米26的张子宇,中国女篮就显得不会得分

体育哲人
2026-08-12 19:55:53
“黄毛爸爸,酒蒙子妈妈”,上海小学生天崩开局,结局却有反转

“黄毛爸爸,酒蒙子妈妈”,上海小学生天崩开局,结局却有反转

世界圈
2026-07-21 08:00:14
我刚提副处,省委书记当场宣布:这年轻人我要了,明天来省委

我刚提副处,省委书记当场宣布:这年轻人我要了,明天来省委

千秋文化
2026-07-18 19:06:29
北京知青与青海姑娘被迫分开,20年后当了大官,才得知儿孙满堂

北京知青与青海姑娘被迫分开,20年后当了大官,才得知儿孙满堂

兰姐说故事
2025-03-16 20:00:09
2026-08-12 20:40:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17096文章数 515189关注度
往期回顾 全部

科技要闻

Manus第二季,浪子回头

头条要闻

外卖小哥称"我人生最后一天啦" 女顾客收信息果断报警

头条要闻

外卖小哥称"我人生最后一天啦" 女顾客收信息果断报警

体育要闻

杜兰特,所谓的“联盟小王”

娱乐要闻

老戏骨杨昆两夺金鹰奖,因物业费被告

财经要闻

李嘉诚,再一次大撤退!他嗅到了什么?

汽车要闻

这台大众不一般 上汽大众ID.ERA.5S综合续航约2000公里

态度原创

教育
手机
艺术
本地
公开课

教育要闻

2026年中国211高校出炉!哈工程跃升到第5,安徽大学排名33

手机要闻

荣耀Robot Phone手机官宣搭载行业最小全钛云台架构

艺术要闻

米芾大字真迹出土,弥补书法史600年的遗憾,苏轼赞叹:比肩王羲之!

本地新闻

黄州一夜,苏轼写给普通人的月光

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版