网易首页 > 网易号 > 正文 申请入驻

「奇点」AI计算平台细节曝光!竟是微软4年前老项目重生

0
分享至

新智元报道

编辑:David

【新智元导读】微软 Azure 团队公布了全新的AI基础设施服务「奇点」平台的技术细节。微软表示,该平台将成为微软内部和外部AI的主要驱动力。

AI服务平台的成本和效率问题,是各大服务提供商一直着力解决和改进的难题。

具体而言,就是如何在满足客户需求的同时,尽量降低整个系统资源的消耗,以及如何通过提高深度学习工作负载的利用率来降低成本。

近日,微软 Azure 研究团队合作构建了一个新的 AI 基础设施服务,代号为「Singularity」。用研究人员的话说,这是「一个全新的人工智能平台服务,将成为微软内部和外部人工智能的主要驱动力。」

Singularity 服务旨在为数据科学家和 AI 从业者提供一种在微软专为 AI 构建的分布式基础架构服务上构建、扩展、试验和迭代其模型的方法。

论文地址:

https://arxiv.org/pdf/2202.07848.pdf

在一篇系统介绍Singularity 服务的论文中,研究人员表示:

「Singularity 的核心是一种新颖的、可以感知工作负载的调度程序,可以透明地抢占和弹性扩展深度学习工作负载,在不影响正确性和性能的情况下,提高全球范围内的 AI 加速器(例如 GPU、FPGA)的利用率。」

据介绍,使用Singularity服务,活动作业负载可以动态且透明地占用并迁移到一组不同的节点、集群、数据中心或区域,并准确执行,还能够在给定类型的一组不同的加速器上调整大小(即弹性缩放)。

Singularity平台架构示意图

用户无须对代码进行任何更改,也不需要使用任何可能限制灵活性的自定义库。微软表示,这种方法显著提高了深度学习工作负载的可靠性。

这篇论文的作者包括 Azure 首席技术官 Mark Russinovich;合作伙伴架构师 Rimma Nehme,他曾在 Azure Cosmos DB 工作,直到 2019 年转到 Azure 从事人工智能和深度学习工作;以及技术研究员 Dharma Shukla等。

和今天使用的弹性负载调度机制相比,Singularity调度程序可以将每个 worker 一对一映射到物理 GPU,或者使用多对一映射,将物理 GPU 虚拟化并跨多个 worker 进行时间切片,world-size不变。

相比之下,目前的弹性机制调度程序会将工作从上一个检查点重新启动,world-size减小至四分之一,导致资源浪费(比如自上一个检查点以来的初始化和迭代需要重做)。

测试结果显示,在不同模型上,使用Singularity服务(DP)相对基线水平(B)获得的性能提升。

在透明弹性负载调度性能上,Singularity则取得了7%的平均优势。

研究人员表示,Singularity在调度深度学习工作负载方面实现了重大突破,将诸如弹性等小众特征转化为主流特征,并在此基础上实现了对深度学习工作负载的调度。

Singularity实现了前所未有的工作负载可替换性水平。工作负载能够利用全球分布的机群中的任何地方的空闲资源。

Singularity提供简单的用户体验:用户只需要关注机器学习任务本身,而不需要考虑检查点或弹性负载问题。这些基础设施的优化对用户是完全透明的。

四年前的老项目「重生」?

ZD Net报道称,Singularity 可能是将微软此前推出的 Brainwave 项目推向商业化的下一个阶段。

微软此前曾讨论过将 FPGA 或现场可编程门阵列作为服务提供给客户的计划。

2018 年,微软公开了其旨在 Azure 中提供快速 AI 处理和计算能力的「Brainwave」项目。

当时,微软在云端提供了由 Brainwave 提供支持的 Azure 机器学习硬件加速模型的预览——一个向客户提供面向 AI 工作负载的 FPGA 处理平台。

Brainwave 由高性能分布式系统架构组成;运行在可定制芯片(FPGA)上的硬件深度神经网络引擎,用于部署训练模型的编译器。

实际上,这不是微软在自家平台上第一次使用Singularity这个词了。微软之前就曾将 Singularity 用来命名微内核操作系统,以及一组完全以托管代码开发的相关工具和资源库。

Singularity 最终催生和/或影响了微软的其他几个云平台和操作系统项目,对 Barrelfish、 Helios、 Midori和 Drawbridge等项目均产生了不小的影响。

AI计算平台,大厂争相布局

值得注意的是,在人工智能高性能计算和加速计算平台的构建上,微软早就开始布局了。

2019年,微软在OpenAI上投资了10亿美元,并在一年后宣布,他们已经与OpenAI合作并专门为OpenAI建造了第五强大的公开记录超级计算机。

虽然微软与OpenAI合作建造的AI超级计算机专门用于OpenAI,但微软一直表示,他们计划通过Azure AI服务和GitHub,想更多的用户提供大型AI模型和训练优化工具。

微软还在其「Azure AI」旗下向不需要专用超级计算机的客户提供各种加速计算服务。

2021年11月,微软宣布将在Azure中使用 80GB NVIDIA A100 GPU,以扩大其AI超级计算机阵容。

而且,微软并不是唯一一家试图在内部和客户中提供人工智能超级计算功能的科技公司。Meta也在做同样的事情,如无意外,Meta已经将这项工作定位为解锁元宇宙的关键。

参考资料:

https://www.joinaisupercomputer.com/current-positions/software-engineer-singularity-platform-infrastructure

https://arxiv.org/pdf/2202.07848.pdf

https://www.zdnet.com/article/microsoft-goes-public-with-details-on-its-singularity-ai-infrastructure-service/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“一丝不挂”新舞蹈?惹争议,被摸下体更不害臊,金星质疑是对的

“一丝不挂”新舞蹈?惹争议,被摸下体更不害臊,金星质疑是对的

吃鱼思故渊
2024-05-16 21:48:21
美国总统拜登批准俄克拉何马州重大灾难声明

美国总统拜登批准俄克拉何马州重大灾难声明

财联社
2024-06-15 10:10:30
查尔斯凯特相继患癌后首次同框,很温馨,王子和王妃的对视更甜蜜

查尔斯凯特相继患癌后首次同框,很温馨,王子和王妃的对视更甜蜜

译言
2024-06-15 21:51:59
一单亲妈妈穿“露奶装”送娃上学,男家长:光着整个脊背成何体统

一单亲妈妈穿“露奶装”送娃上学,男家长:光着整个脊背成何体统

知秋侃史
2024-06-12 04:14:35
农村可能又要恢复30年前的情景,很多年轻人说出心声

农村可能又要恢复30年前的情景,很多年轻人说出心声

特特农村生活
2024-06-15 18:19:42
差不多2年4500万?名记:掘金担心波普像去年布朗一样被挖走

差不多2年4500万?名记:掘金担心波普像去年布朗一样被挖走

直播吧
2024-06-16 08:00:07
窝里横的中国新造车全数被宝马碾压,奔驰、丰田也起来了

窝里横的中国新造车全数被宝马碾压,奔驰、丰田也起来了

柏铭锐谈
2024-06-15 12:32:29
要溢出屏幕啦导播赛前展示克罗斯荣誉,他拿得太多了~

要溢出屏幕啦导播赛前展示克罗斯荣誉,他拿得太多了~

直播吧
2024-06-15 09:25:21
为什么朋友圈很少晒4年级以上的娃,网友评论太真实了

为什么朋友圈很少晒4年级以上的娃,网友评论太真实了

阿康四岁啦
2024-06-15 13:31:38
大S求复合遭筱梅高调回怼,高冷形象崩塌,悔之晚矣

大S求复合遭筱梅高调回怼,高冷形象崩塌,悔之晚矣

综艺拼盘汇
2024-06-15 18:12:32
窦佳嫄从来没叫过窦唯爸爸,也没送过四合院,上一次见面是两年前

窦佳嫄从来没叫过窦唯爸爸,也没送过四合院,上一次见面是两年前

五四观娱
2024-06-10 22:41:43
女生“羞羞”私处痛,男生丁丁太长的过错?

女生“羞羞”私处痛,男生丁丁太长的过错?

水白头
2024-06-16 01:10:02
28岁白色蓝格泳衣美女在酒店楼顶泳池边拍的写真照

28岁白色蓝格泳衣美女在酒店楼顶泳池边拍的写真照

白宸侃片
2024-06-12 20:47:22
3年1.64亿,续约湖人!钱我要,冠军我也要!你打破了全联盟的质疑

3年1.64亿,续约湖人!钱我要,冠军我也要!你打破了全联盟的质疑

开心体育站
2024-06-15 22:58:25
人社部发布最新养老金数据,2024年企退休人员平均养老金是多少?

人社部发布最新养老金数据,2024年企退休人员平均养老金是多少?

社保小达人
2024-06-15 12:19:45
华为开始“内卷”,Mate60Pro售价一降再降,1TB+鸿蒙OS+卫星通话

华为开始“内卷”,Mate60Pro售价一降再降,1TB+鸿蒙OS+卫星通话

科技阿维
2024-06-15 19:04:57
曝豆得儿曾为王思聪打过胎,看到黄一鸣爆料后破防,本人发文怒斥

曝豆得儿曾为王思聪打过胎,看到黄一鸣爆料后破防,本人发文怒斥

拾娱先生
2024-06-13 15:04:40
反转?“大鹏快开车”测出秦L续航只有1182公里,到底什么情况?

反转?“大鹏快开车”测出秦L续航只有1182公里,到底什么情况?

芯怡飞
2024-06-15 00:33:36
重庆一小车冲出马路坠落进小区,物业:有居民被砸中

重庆一小车冲出马路坠落进小区,物业:有居民被砸中

极目新闻
2024-06-15 19:33:38
那个美国老师说!

那个美国老师说!

吴女士
2024-06-14 09:52:41
2024-06-16 08:28:49
新智元
新智元
AI产业主平台领航智能+时代
11154文章数 65537关注度
往期回顾 全部

科技要闻

TikTok开始找退路了?

头条要闻

欧洲杯-23秒丢球破纪录 意大利2-1逆转阿尔巴尼亚

头条要闻

欧洲杯-23秒丢球破纪录 意大利2-1逆转阿尔巴尼亚

体育要闻

莱夫利,让困难为我让路

娱乐要闻

江宏杰秀儿女刺青,不怕刺激福原爱?

财经要闻

新情况!高层对人民币的态度180°转弯

汽车要闻

东风奕派eπ008售21.66万元 冰箱彩电都配齐

态度原创

艺术
数码
家居
亲子
教育

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

数码要闻

低至 5747 元,爱普生 CH-TW6280T 真 4K 投影仪京东大促

家居要闻

空谷来音 朴素留白的侘寂之美

亲子要闻

孩子总是便秘 家长要注意 这几点

教育要闻

一批零件甲独做3天完成,乙独做4天完成,合作完成任务甲比乙多24

无障碍浏览 进入关怀版