有新Newin近期分享了、 以及 。
外媒 Information 在上周披露了微软和 OpenAI 的高管们一直在制定一个数据中心项目的计划,这个项目将包含一台超级计算机 ——“Stargate”(星际之门) ,这台计算机拥有数百万个专用服务器芯片,用于支持 OpenAI 的人工智能,该项目的成本可能高达 1000 亿美元。
微软很可能将负责为这个项目提供资金,这个项目的成本可能是当今一些最大数据中心成本的 100 倍,显示出在未来几年内建立 AI 计算能力可能需要的巨大投资。高管们设想,这台称为 “Stargate” 的美国超级计算机将是公司计划在接下来六年内建设的一系列装置中最大的一个,虽然该项目尚未获批准,计划可能会改变,但它们提供了一个窥视本十年最重要的技术行业合作以及这两家公司是如何进行长远规划的机会。
目前为止,微软已经向 OpenAI 承诺投资超过 130 亿美元,以便这家初创公司可以使用微软的数据中心来支持 ChatGPT 以及其对话 AI 背后的模型;作为交换,微软获得了访问 OpenAI 技术的秘密配方的权利,以及独家权利将该技术转售给其自己的云客户,如摩根士丹利。微软还将 OpenAI 的软件集成到了 Office、Teams 和 Bing 的新 AI Copilot 功能中。
微软是否愿意继续推进 Stargate 计划在一定程度上取决于 OpenAI 提升其 AI 能力的实际成效。去年 OpenAI 未能交付其向微软承诺的一个新模型,显示出预测 AI 前沿的困难。尽管如此,OpenAI 的首席执行官 Sam Altman 公开表示,阻碍更好 AI 的主要瓶颈是缺乏足够的服务器来开发它。
据悉,如果 Stargate 项目继续推进,它将产生的计算能力将是微软目前从凤凰城等数据中心提供给 OpenAI 的数百倍。这个提议中的超级计算机还将至少需要几个千瓦的电力——相当于今天至少几个大型数据中心运行所需的电力。项目成本的大部分将花费在采购芯片上,两人说,但获取足够的能源来源来运行它也可能是一个挑战。
数字地产的首席技术官 Chris Sharp 表示,对于 AGI——能够完成大多数计算任务的 AI,这样的项目是“绝对必要”的,数字地产是一个尚未参与 Stargate 的数据中心运营商。尽管按照今天的标准,项目的规模看起来难以想象,他说,到这样一个超级计算机完成时,这些数字不会看起来那么惊人。
高管们已经讨论了最早在 2028 年启动 Stargate 并在 2030 年之前扩展它的计划,到最后可能需要多达 5 吉瓦的电力,参与讨论的人士说。
五个阶段
在 Stargate 之前的阶段将花费远少,微软正致力于为 OpenAI 开发一个较小的第四阶段超级计算机,并计划在 2026 年左右启动。高管们计划将其建在威斯康辛州的普莱森特山,威斯康辛经济发展公司最近宣布微软在此地开始了一个价值 10 亿美元的数据中心扩建项目。这位人士说,超级计算机和数据中心最终的完成成本可能高达 100 亿美元。这远远超过了现有数据中心的成本。据一位参与讨论的不同人士说,微软还讨论了在该项目中使用 Nvidia 制造的 AI 芯片。
目前,微软和 OpenAI 正处于五阶段计划的第三阶段中。接下来两个阶段的大部分成本将涉及采购 AI 芯片。两位未参与该项目的数据中心从业者说,AI 服务器芯片通常占目前其他公司正在建设的以 AI 为中心的数据中心总初始成本的大约一半。
总的来说,这些提议的努力可能会花费超过 1150 亿美元,超过微软去年在服务器、建筑和其他设备上的资本开支的三倍多。微软预计今年将花费约 500 亿美元,假设它继续保持在 2023 年下半年公布的资本开支速度。微软首席财务官 Amy Hood 在 1 月份说,鉴于对“云和 AI 基础设施”的投资,这样的支出在未来几个季度将“大幅增加”。
微软的发言人 Frank Shaw 没有对超级计算机计划发表评论,但在一份声明中说:“我们一直在规划下一代基础设施创新,这些创新是继续推动 AI 能力前沿所必需的。”一位 OpenAI 发言人对本文没有评论。
Altman 私下表示,Google 作为 OpenAI 的最大竞争对手之一,将在短期内拥有比 OpenAI 更多的计算能力,并且他公开抱怨没有像他希望的那样拥有足够的 AI 服务器芯片。
这就是他一直在推动成立一家新的服务器芯片公司的原因之一,该公司将开发一款能与 Nvidia 的图形处理单元竞争的芯片,目前这款芯片支持 OpenAI 的软件。对 Nvidia GPU 服务器的需求已经飙升,导致像微软和 OpenAI 这样的客户成本上升。除了控制成本,微软支持 Altman 的替代芯片还有其他潜在原因。GPU 热潮使 Nvidia 成为决定哪些客户可以拥有最多芯片的关键者,并且它已经帮助了与微软竞争的小型云提供商。Nvidia 还侵入了向其自己的客户转售云服务器的市场。
不管有没有微软,Altman 的努力都将需要在电力和数据中心方面进行重大投资以配合这些芯片。Stargate 设计为给微软和 OpenAI 选项,使用 Nvidia 以外公司制造的 GPU,例如 Advanced Micro Devices,或者微软最近推出的 AI 服务器芯片,参与讨论的人士说。尚不清楚 Altman 是否认为他在未来几年内计划开发的理论上的 GPU 将准备好用于 Stargate。
Stargate 超级计算机的总成本可能取决于使数据中心随时间变得更加高效的软硬件改进,OpenAI 已经讨论了使用替代能源,如核能的可能性。(亚马逊刚刚购买了一个位于宾夕法尼亚州的数据中心地点,那里可以使用核能,而 Altman 本人曾表示,开发超级智能可能会需要一个重大的能源突破。
更紧密的 GPU 机架
为了使 Stargate 成为现实,微软还必须克服几个技术挑战,两人说。例如,目前的提议设计要求将更多的 GPU 放入单个机架中,比微软习惯的要多,以提高芯片的效率和性能。由于 GPU 密度更高,微软还需要找到一种方法来防止芯片过热,他们说。
微软和 OpenAI 还在讨论它们将使用哪种电缆将数百万 GPU 连接在一起。网络电缆对于快速将大量数据移入移出服务器芯片至关重要。
据悉,OpenAI 已告知微软,它不想在 Stargate 超级计算机中使用 Nvidia 的专有 InfiniBand 电缆,尽管微软目前在其现有的超级计算机中使用 Nvidia 电缆。(相反,OpenAI 希望使用更通用的以太网电缆。)摆脱 InfiniBand 可能使 OpenAI 和微软更容易减少对 Nvidia 的依赖。
AI 计算比传统计算更昂贵也更复杂,这就是为什么公司密切守护有关他们的 AI 数据中心的细节,包括 GPU 如何连接和冷却的原因。就此而言,Nvidia 首席执行官 Jensen Huang 曾表示,为了处理即将到来的所有 AI 计算,公司和国家将需要在未来四到五年内建设价值 1 万亿美元的新数据中心。
微软和 OpenAI 的高管自去年夏天以来一直在讨论数据中心项目。除了CEO Satya Nadella 和 CTO Kevin Scott,其他参与超级计算机谈判的微软管理人员包括负责微软在其数据中心中将 AI 服务器芯片整合在一起的策略的 Pradeep Sindhu 和负责为 Azure 云服务器部门开发 AI 硬件的 Brian Harry。
合作伙伴仍在解决几个关键细节,这些细节可能不会很快最终确定。超级计算机的物理位置以及它将在一个数据中心内建造还是在紧密相连的多个数据中心内建造尚不清楚。当 GPU 簇位于同一个数据中心时,AI 从业者说,它们往往工作得更有效率。
OpenAI 已经推动了微软在数据中心方面的界限。在 2019 年对这家初创公司进行初次投资后,微软建造了其第一个 GPU 超级计算机,包含数千个 Nvidia GPU,以满足 OpenAI 的计算需求,几年来在该系统上投资了 12 亿美元。据悉,今年和明年,微软计划为 OpenAI 提供总计数十万 GPU 的服务器。
下一个标杆:GPT-5
Altman 和微软员工将这些超级计算机视为五个阶段的一部分,第五阶段被命名为 Stargate,这个名字来源于一部科幻电影,在电影中,科学家开发了一种可以在银河系之间旅行的设备。(这个代号最初由 OpenAI 提出,但据一位参与其中的人士说,这不是微软正在使用的官方项目代号。)
微软和 OpenAI 对世界领先数据中心的宏伟设计几乎完全取决于 OpenAI 是否能帮助微软证明这些项目的投资是合理的,通过朝着超级智能——能帮助解决癌症、聚变、全球变暖或殖民火星等复杂问题的 AI——迈出重大步伐。
一些消费者和专业人士已经接受了 ChatGPT 和其他对话 AI 以及 AI 生成的视频,但将这些最近的突破转化为产生重大收入的技术可能需要的时间比领域内的从业者预期的要长,包括亚马逊和谷歌在内的公司已经在某种程度上降低了销售预期,部分原因是这种 AI 成本高昂,且需要大量工作才能在大型企业内部启动,或为数以百万计的人使用的应用程序提供新功能。
Altman 上个月在一个英特尔活动上说,当研究人员投入更多计算力时,AI 模型会“可预测地变得更好”。OpenAI 已经就此主题发布了研究,它将其称为对话 AI 的“规模律”。
OpenAI “不断投入更多计算[能力以扩大现有 AI]可能会导致客户出现‘幻灭谷’”,因为他们意识到技术的限制,Databricks 的首席执行官 Ali Ghodsi 说,Databricks 帮助公司使用 AI。“我们真正应该专注于让这项技术对人类和企业有用。这需要时间。我相信它会很了不起,但[这]不会一蹴而就。”
对于 OpenAI 来说,证明其下一个主要的对话 AI,即大型语言模型,比 GPT-4 更好至关重要,GPT-4 是今天它最先进的 LLM。OpenAI 一年前发布了 GPT-4,与此同时,谷歌也发布了一个可比的模型,因为它试图追赶。据一位了解该过程的人士说,OpenAI 计划在明年初发布其下一个主要的 LLM 升级。在那之前,该人士说,它可能会发布 LLM 的更多渐进式改进。
有了更多的服务器,一些 OpenAI 领导人相信,公司可以使用其现有的 AI 和最近的技术突破,如 Q*——一个能够推理它之前没有被训练解决的数学问题的模型——来创建正确的合成(非人生成)数据,用于在用尽人类生成的数据后训练更好的模型。这些模型也可能能够发现现有模型如 GPT-4 的缺陷并建议技术改进——换句话说,自我改进的 AI。
这些计划和努力反映了微软和 OpenAI 对于未来 AI 发展的雄心壮志,同时也揭示了在实现这些雄图伟业的道路上将面临的巨大技术和财务挑战。从推动超级计算能力的大幅增长到探索替代能源和解决高密度芯片冷却的问题,每个阶段都要求创新和投资达到新的水平。
同时,对 OpenAI 来说,它们的成功不仅依赖于超级计算机项目的实现,还取决于其 AI 技术能否持续进步并解决实际世界的复杂问题。随着 GPT-5 和其他未来模型的发布,OpenAI 面临的挑战将是证明其技术能够实现预期的性能提升,并且这些进步能够为微软和其他潜在客户带来实际价值。
这些野心勃勃的项目也体现了 AI 领域内不断增长的竞争,尤其是在计算资源方面。随着公司如 Google、Amazon 和其他竞争者也在加速他们的 AI 开发和部署,微软和 OpenAI 的合作在一定程度上旨在确保他们在这场竞赛中保持领先地位。
不过,尽管这些计划和投资可能带来的科技进步无疑是令人兴奋的,但它们也引发了对 AI 发展方向、可持续性和社会影响的广泛讨论。随着这些超级计算机项目的推进,确保它们的发展符合伦理标准、可持续性原则,并对社会产生积极影响将是一项持续的挑战和责任。
Reference:
https://www.theinformation.com/articles/microsoft-and-openai-plot-100-billion-stargate-ai-supercomputer?rc=z9mejq
Newin 行业交流群
最新资讯
创业手册
Builders 招募
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.