网易首页 > 网易号 > 正文 申请入驻

「奇点」AI计算平台细节曝光!竟是微软4年前老项目重生

0
分享至

新智元报道

编辑:David

【新智元导读】微软 Azure 团队公布了全新的AI基础设施服务「奇点」平台的技术细节。微软表示,该平台将成为微软内部和外部AI的主要驱动力。

AI服务平台的成本和效率问题,是各大服务提供商一直着力解决和改进的难题。

具体而言,就是如何在满足客户需求的同时,尽量降低整个系统资源的消耗,以及如何通过提高深度学习工作负载的利用率来降低成本。

近日,微软 Azure 研究团队合作构建了一个新的 AI 基础设施服务,代号为「Singularity」。用研究人员的话说,这是「一个全新的人工智能平台服务,将成为微软内部和外部人工智能的主要驱动力。」

Singularity 服务旨在为数据科学家和 AI 从业者提供一种在微软专为 AI 构建的分布式基础架构服务上构建、扩展、试验和迭代其模型的方法。

论文地址:

https://arxiv.org/pdf/2202.07848.pdf

在一篇系统介绍Singularity 服务的论文中,研究人员表示:

「Singularity 的核心是一种新颖的、可以感知工作负载的调度程序,可以透明地抢占和弹性扩展深度学习工作负载,在不影响正确性和性能的情况下,提高全球范围内的 AI 加速器(例如 GPU、FPGA)的利用率。」

据介绍,使用Singularity服务,活动作业负载可以动态且透明地占用并迁移到一组不同的节点、集群、数据中心或区域,并准确执行,还能够在给定类型的一组不同的加速器上调整大小(即弹性缩放)。

Singularity平台架构示意图

用户无须对代码进行任何更改,也不需要使用任何可能限制灵活性的自定义库。微软表示,这种方法显著提高了深度学习工作负载的可靠性。

这篇论文的作者包括 Azure 首席技术官 Mark Russinovich;合作伙伴架构师 Rimma Nehme,他曾在 Azure Cosmos DB 工作,直到 2019 年转到 Azure 从事人工智能和深度学习工作;以及技术研究员 Dharma Shukla等。

和今天使用的弹性负载调度机制相比,Singularity调度程序可以将每个 worker 一对一映射到物理 GPU,或者使用多对一映射,将物理 GPU 虚拟化并跨多个 worker 进行时间切片,world-size不变。

相比之下,目前的弹性机制调度程序会将工作从上一个检查点重新启动,world-size减小至四分之一,导致资源浪费(比如自上一个检查点以来的初始化和迭代需要重做)。

测试结果显示,在不同模型上,使用Singularity服务(DP)相对基线水平(B)获得的性能提升。

在透明弹性负载调度性能上,Singularity则取得了7%的平均优势。

研究人员表示,Singularity在调度深度学习工作负载方面实现了重大突破,将诸如弹性等小众特征转化为主流特征,并在此基础上实现了对深度学习工作负载的调度。

Singularity实现了前所未有的工作负载可替换性水平。工作负载能够利用全球分布的机群中的任何地方的空闲资源。

Singularity提供简单的用户体验:用户只需要关注机器学习任务本身,而不需要考虑检查点或弹性负载问题。这些基础设施的优化对用户是完全透明的。

四年前的老项目「重生」?

ZD Net报道称,Singularity 可能是将微软此前推出的 Brainwave 项目推向商业化的下一个阶段。

微软此前曾讨论过将 FPGA 或现场可编程门阵列作为服务提供给客户的计划。

2018 年,微软公开了其旨在 Azure 中提供快速 AI 处理和计算能力的「Brainwave」项目。

当时,微软在云端提供了由 Brainwave 提供支持的 Azure 机器学习硬件加速模型的预览——一个向客户提供面向 AI 工作负载的 FPGA 处理平台。

Brainwave 由高性能分布式系统架构组成;运行在可定制芯片(FPGA)上的硬件深度神经网络引擎,用于部署训练模型的编译器。

实际上,这不是微软在自家平台上第一次使用Singularity这个词了。微软之前就曾将 Singularity 用来命名微内核操作系统,以及一组完全以托管代码开发的相关工具和资源库。

Singularity 最终催生和/或影响了微软的其他几个云平台和操作系统项目,对 Barrelfish、 Helios、 Midori和 Drawbridge等项目均产生了不小的影响。

AI计算平台,大厂争相布局

值得注意的是,在人工智能高性能计算和加速计算平台的构建上,微软早就开始布局了。

2019年,微软在OpenAI上投资了10亿美元,并在一年后宣布,他们已经与OpenAI合作并专门为OpenAI建造了第五强大的公开记录超级计算机。

虽然微软与OpenAI合作建造的AI超级计算机专门用于OpenAI,但微软一直表示,他们计划通过Azure AI服务和GitHub,想更多的用户提供大型AI模型和训练优化工具。

微软还在其「Azure AI」旗下向不需要专用超级计算机的客户提供各种加速计算服务。

2021年11月,微软宣布将在Azure中使用 80GB NVIDIA A100 GPU,以扩大其AI超级计算机阵容。

而且,微软并不是唯一一家试图在内部和客户中提供人工智能超级计算功能的科技公司。Meta也在做同样的事情,如无意外,Meta已经将这项工作定位为解锁元宇宙的关键。

参考资料:

https://www.joinaisupercomputer.com/current-positions/software-engineer-singularity-platform-infrastructure

https://arxiv.org/pdf/2202.07848.pdf

https://www.zdnet.com/article/microsoft-goes-public-with-details-on-its-singularity-ai-infrastructure-service/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
瓦屋山游客身亡后续:知情人曝猛料,女子身份复杂,景区摊上事了

瓦屋山游客身亡后续:知情人曝猛料,女子身份复杂,景区摊上事了

布拉旅游说
2024-06-13 21:58:04
10套S-400导弹被摧毁,俄军来不及后悔:幸亏土耳其退货红旗9导弹

10套S-400导弹被摧毁,俄军来不及后悔:幸亏土耳其退货红旗9导弹

鹅毛的大雪
2024-06-13 16:14:56
解放军中将在京突然去世,两女儿定居美国,亲弟弟关联25家公司

解放军中将在京突然去世,两女儿定居美国,亲弟弟关联25家公司

求实者
2024-06-12 14:30:22
他曾是中央政治局常委,后却被秘密处决,尸骨至今仍下落不明

他曾是中央政治局常委,后却被秘密处决,尸骨至今仍下落不明

燕小姐说历史
2024-06-15 08:49:56
张天爱自拍大秀“凶器”,身材气质绝佳!曾和娜扎联手锤渣男?

张天爱自拍大秀“凶器”,身材气质绝佳!曾和娜扎联手锤渣男?

狐飞火
2024-06-15 00:40:03
笑晕!当年高考结束后你是怎样放纵的?当晚全班三十多男的都进去了

笑晕!当年高考结束后你是怎样放纵的?当晚全班三十多男的都进去了

有趣的火烈鸟
2024-06-14 10:44:23
有猫腻,银行取钱要派出所同意,银行却被爆出内部员工私转230万

有猫腻,银行取钱要派出所同意,银行却被爆出内部员工私转230万

三月柳
2024-06-15 10:28:42
看似保守,却真的诱人!

看似保守,却真的诱人!

北冥说事
2024-06-05 18:16:06
重庆黑老大杨天庆因超车惹祸上身,车内老者一句话,黑帮覆灭

重庆黑老大杨天庆因超车惹祸上身,车内老者一句话,黑帮覆灭

安妮Emotiong
2024-06-12 19:16:04
打脸好莱坞,威尔史密斯逆风翻盘,《绝地战警4》口碑票房双丰收

打脸好莱坞,威尔史密斯逆风翻盘,《绝地战警4》口碑票房双丰收

电影侦探社
2024-06-13 16:45:19
罗甸县中医医院党委书记张林接受纪律审查和监察调查

罗甸县中医医院党委书记张林接受纪律审查和监察调查

鲁中晨报
2024-06-15 16:07:01
德云社管理层反应迅速,“挥泪斩马谡”毫不迟疑!

德云社管理层反应迅速,“挥泪斩马谡”毫不迟疑!

综艺拼盘汇
2024-06-15 18:04:57
女排大冷门?世锦赛冠军或翻车,0-2落后日本,中国女排生死战!

女排大冷门?世锦赛冠军或翻车,0-2落后日本,中国女排生死战!

刘姚尧的文字城堡
2024-06-15 19:44:57
毛主席去南泥湾视察,王震请客吃烧鸡,饭后主席却执意带走鸡架

毛主席去南泥湾视察,王震请客吃烧鸡,饭后主席却执意带走鸡架

历史实战派
2024-06-15 11:42:41
巨亏65亿!华侨城再卖五星级酒店

巨亏65亿!华侨城再卖五星级酒店

户外钓鱼哥阿旱
2024-06-15 17:31:02
不忍直视!张天爱胯这么宽还敢穿紧身裤,网友:上半身再美也白搭

不忍直视!张天爱胯这么宽还敢穿紧身裤,网友:上半身再美也白搭

影苏爱时尚
2024-06-11 18:21:03
4位厅干履新

4位厅干履新

鲁中晨报
2024-06-15 11:11:05
“00后”女生成为上市公司总裁,身家上亿!她毕业于哥伦比亚大学,26岁哥哥是董事长

“00后”女生成为上市公司总裁,身家上亿!她毕业于哥伦比亚大学,26岁哥哥是董事长

每日经济新闻
2024-06-15 08:29:22
张镇麟晒新疆旅游照:原谅我的拍照技术 只会直男视角

张镇麟晒新疆旅游照:原谅我的拍照技术 只会直男视角

直播吧
2024-06-15 22:15:04
拒绝降薪,再见快船!5年时间让你看清了一切,三巨头解体难逆转

拒绝降薪,再见快船!5年时间让你看清了一切,三巨头解体难逆转

呆哥聊球
2024-06-16 00:15:51
2024-06-16 02:06:44
新智元
新智元
AI产业主平台领航智能+时代
11154文章数 65537关注度
往期回顾 全部

科技要闻

TikTok开始找退路了?

头条要闻

563支AI队伍和姜萍考同一份试卷:最高34分 都没进决赛

头条要闻

563支AI队伍和姜萍考同一份试卷:最高34分 都没进决赛

体育要闻

莱夫利,让困难为我让路

娱乐要闻

江宏杰秀儿女刺青,不怕刺激福原爱?

财经要闻

新情况!高层对人民币的态度180°转弯

汽车要闻

东风奕派eπ008售21.66万元 冰箱彩电都配齐

态度原创

教育
健康
本地
时尚
军事航空

教育要闻

厉害!长沙15岁初三少年闯进2024年阿里巴巴全球数学竞赛决赛

晚餐不吃or吃七分饱,哪种更减肥?

本地新闻

粽情一夏|海河龙舟赛,竟然成了外国人的大party!

艳压四方的刘亦菲,也没能赢她

军事要闻

普京提停火和谈条件 美防长迅速回应

无障碍浏览 进入关怀版