网易首页 > 网易号 > 正文 申请入驻

既授之以鱼也授之以渔:浪潮信息正式推出大模型智算软件栈OGAI

0
分享至

“我们今天只是刚刚打开生成式AI的一扇门,未来有多远,风景有多优美,目前都还未知。但大家基本上认可这个大门已经打开了,未来还有足够大的创新空间,因此我认为还没有到定义中国大模型意义的阶段。”近日,在浪潮信息大模型智算软件栈的发布会上,浪潮信息高级副总裁刘军如是表示。

图丨浪潮信息高级副总裁刘军

随着AIGC技术的不断演进,人工智能正在朝着通用性的方向发展和更新。和狭义上所说的人工智能不同,通用人工智能的核心在于,拥有像人类一样的逻辑理解能力和工具使用能力,从而实现跨领域、跨任务和跨模态工作的目标。

如今,以ChatGPT为代表的大语言模型,为通用人工智能的发展带来了技术源动力。其能基于巨量的数据和复杂的训练方式进行训练,并以此提高自身的学习能力和泛化能力,进而实现在逻辑推理能力和涌现能力等方面的爆发,这是跨时代的意义。

因此,要想进一步推动通用人工智能的发展,必须在功能强大的大模型的基础之上,提升其逻辑推理能力。与此同时,由于充沛的算力是发展大模型的前提,所以如何高效地利用算力、释放算力价值,便成为了助推大模型发展的关键。

发布大模型智算软件栈,为大模型开发和落地打造高效生产力

在浪潮信息看来,“开发大模型是一项复杂的系统工程,既要授之以鱼,也要授之以渔”。尤其是对于那些深入布局大模型、重视打造自身核心竞争力的企业来说,更是需要综合考量一系列问题,包括对算力系统的部署和优化,采集、清洗和处理数据,以及训练、推理、迁移模型等。

基于此,本着帮助企业在更省时省力的条件下,训练出更快、更稳、更智能的大模型的初心,浪潮信息在本次会上正式发布大模型智算软件栈OGAI(Open GenAI Infra)“元脑生智”。

图丨浪潮信息大模型智算软件栈发布

据介绍,OGAI能为大模型业务提供AI算力系统环境部署、算力调度及开发管理能力的全栈全流程的智算软件栈,旨在为大模型开发和应用打造高效的生产力,以加速生成式AI产业创新步伐。

客观来看,在云计算时代,购买云计算服务与直接购买设备,就客户而言,只是财务投资模型不一样,但路径都是相通的。但大模型时代的算力需求则不同,目前大模型研发已经进入万卡时代,人工智能算力资源已经成为大模型行业巨大的进入门槛。

就如浪潮信息人工智能与高性能应用软件部AI架构师Owen ZHU在会后的访谈中表示:“训练大模型的算力平台并不是算力的简单堆积,随着模型的规模越来越大,单卡算力与模型总算力需求之间存在着巨大的差异。因此我们希望在提供硬件的基础上,进一步帮助客户解决大模型生产可能会遇到的问题。 OGAI正是如此应运而生:让炼大模型省时、省力,让大模型更快、更稳、更智能,助力百模真正实现“竞速AIGC”。

图丨大模型智算软件栈

详细来说,该产品包含以下几层:

第一,L0基础设施层,也即智算中心OS。它能提供多租户、裸金属的AI算力运营运维支撑平台。其中,高效的裸金属服务支持分钟级部署上千规模裸金属节点并按需进行弹性扩展,实现异构计算芯片、IB、RoCE高速网络、高性能存储等环境一键获取,并实现计算、网络、数据隔离以保障业务安全。

第二,L1系统环境层,也即PODsys。它能提供开源、高效、兼容、易用的智算集群系统环境部署方案,实现自动化部署和弹性扩展,并提高系统的可用性和扩展性,帮助用户在该环境下搭建大模型。

第三,L2调度平台层,也即AIStation。作为面向大模型开发的商业化人工智能算力调度平台,针对大模型训练中常见的训练中断难题,可实现训练异常快速定位,断点自动续训。通俗地说,这一层能够帮助用户在动辄数周至数月的训练时长下,避免因硬件设备失效而带来的效率损失问题,进而大幅提高模型训练的生产力。

第四,L3模型工具层,也即YLink。它能提供经过验证的数据治理、大模型预训练和微调开发工具链,助力用户降低模型开发和落地的门槛。

第五,L4多模纳管层,也即MModel。它能作为多模型管理与服务平台,能够帮助用户更好地管理和评估模型,加速模型的部署和应用。

当下,不管是自己开发大模型,还是用户采用第三方模型适配私有数据都会遇到一个问题,那就是不存在只用一家模型的情况,会在验证多家模型的过程中,找到最适合的求解。而L4层便能够帮助用户解决这一问题。

Owen ZHU说:“总的来说,我们针对每一层提炼了在这样一个作业环境下看到的关键问题,并通过自身在大模型方面的实践与服务客户的专业经验,来开发一些软件和对应的方案,帮助用户实现效率提升。”

图丨浪潮信息人工智能与高性能应用软件部AI架构师Owen ZHU

“希望大模型不再是阳春白雪的技术”

自2022年年底大模型热潮掀起以来,该领域的从业者便一直在孜孜不倦地推动大模型通用能力的提升。在此基础上,其也在积极探索大模型的场景应用落地。

但在布局上,目前还存在一定的局限性。这是因为:首先,大模型的训练数据主要源于公开数据集或网络数据,特定行业的专业数据较为有限;其次,大模型的训练需要大量计算资源,并经历较长的训练周期,对于大模型开发者和企业用户来说耗时耗力。

为了破解应用落地过程中的痛点需求,未来,浪潮信息也将依托元脑生态,聚合产业左手伙伴(大模型公司和AI科技公司),提供了一站式行业/领域大模型解决方案,包括模型预训练和微调等,以助力右手服务型伙伴(系统集成商和软件开发商)提升大模型行业解决方案交付服务能力,进而帮助企业客户快速打造专属大模型。此外,也可以满足客户基于自身业务场景需求,按需定制不同规模和场景的模型服务。

Owen ZHU在会后表示:“从浪潮信息的立场来说,我们的愿景是希望大模型不再是阳春白雪的技术,不再只有少数科技公司和企业才能够玩得起、用得起。通过OGAI,我们希望其能成为一种更普适化的技术,让我们的客户或所有客户都能使用大模型,并且用好大模型。”

“助百模,智千行。 基于元脑生态,左右手伙伴可以彼此携手,实现一个N×M的效应,进而使得模型伙伴领先的能力得到快速落地。”刘军进一步解释了业内关心的OGAI未来助力AIGC产业化落地的路径。

事实上,在大模型领域,浪潮信息早已开始布局。作为业界率先推出大模型的企业之一,其于2021年发布了参数规模高达2457亿的中文AI巨量模型“源1.0”。

在算力效率层面,源1.0采用张量并行、流水线并行和数据并行的三维并行策略,提出面向效率和精度优化的大模型结构协调设计方案,将算力效率提到45%的水平。在数据训练方面,建立端到端数据工作流程,通过对866TB海量数据的清洗,获得5TB高质量中文数据集。

据了解,该模型在语言智能方面表现优异,曾获得中文语言理解评测基准CLUE榜单的零样本学习和小样本学习两类总榜冠军。

目前,基于“源”大模型的能力,以及深度融合复杂的服务场景,浪潮信息已在多个领域实现引领大模型的行业应用,比如,智能客服、智慧政务、智能文创等领域。

在智能客服领域,浪潮信息开发了智能客服大脑“源晓服”,能通过对知识库的自主学习,达到覆盖终端用户92%的咨询问题,并将复杂技术咨询的业务处理时长降低65%,从而实现高达160%的整体服务效率。

在智慧政务领域,浪潮信息打造了AI社区助理“临小助”,为基层社区工作者提供一对一群众工作能力培训。据悉,目前,该产品已投入使用,并在某高频场景下,帮助社区工作者的学习效率实现5倍的提升。

另外,浪潮信息还推出了“源1.0”开源开放计划,为开发者快速孵化出更多创新应用提供助力。据介绍,目前其已开放模型API、工具链、数据集,构建了开发者社区生态,并汇集将近万名的开发者。

为未来大模型更高效、更良性的发展寻找最优解。正是基于这样的出发点,浪潮信息具备工程经验,也拥有从算力、软件栈等各个层面推动大模型高效发展的能力。从这个角度看,OGAI的推出正是最好的回答。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
CCTV5直播!太原赛国乒大战张本美和,伊藤美城,勒布伦 附央视直播时间表

CCTV5直播!太原赛国乒大战张本美和,伊藤美城,勒布伦 附央视直播时间表

好乒乓
2024-05-20 13:01:09
曼城夺联赛四连冠,英超官方晒海报:瓜帅C位,全队21人出镜

曼城夺联赛四连冠,英超官方晒海报:瓜帅C位,全队21人出镜

懂球帝
2024-05-20 01:12:51
抢七20分史诗级逆转!华子16+8+7救赎疯狂怒吼 唐斯关键补扣

抢七20分史诗级逆转!华子16+8+7救赎疯狂怒吼 唐斯关键补扣

厝边人侃体育
2024-05-20 10:31:40
北京楼市超神,北京楼市待售二手房降至140000多套,北京楼市反弹

北京楼市超神,北京楼市待售二手房降至140000多套,北京楼市反弹

有事问彭叔
2024-05-20 16:29:28
广汽“救世主”受挫?销量暴跌48%,IPO上市遥遥无期

广汽“救世主”受挫?销量暴跌48%,IPO上市遥遥无期

象视汽车
2024-05-20 07:00:03
伊朗总统专机坠毁,伊朗对美态度或发生重大转变,内贾德呼声很高

伊朗总统专机坠毁,伊朗对美态度或发生重大转变,内贾德呼声很高

笔墨V
2024-05-20 14:51:05
多名“立委”挂彩送医!台“立法院”大乱斗一整天,多方谴责!

多名“立委”挂彩送医!台“立法院”大乱斗一整天,多方谴责!

环球网资讯
2024-05-20 07:20:13
38岁凤姐美国公园被偶遇,性格高傲不理人,月入5k生活拮据!

38岁凤姐美国公园被偶遇,性格高傲不理人,月入5k生活拮据!

古希腊掌管月桂的神
2024-05-18 08:34:33
中南海保健医生:毛主席其实不具备长寿条件,能活83岁有两个优点

中南海保健医生:毛主席其实不具备长寿条件,能活83岁有两个优点

猫眼观史
2024-05-16 18:08:33
一粒鼠屎坏锅汤!男子抢麦辱骂外国女子:俄打过来的,滚出中国

一粒鼠屎坏锅汤!男子抢麦辱骂外国女子:俄打过来的,滚出中国

瑜说还休
2024-05-19 08:15:04
520官宣离婚,他俩真绝!

520官宣离婚,他俩真绝!

宛沐
2024-05-20 11:10:42
野村:系好安全带,全球央行降息潮来了

野村:系好安全带,全球央行降息潮来了

华尔街见闻官方
2024-05-19 18:03:43
田雨在娱乐圈里不火,是因为他在另外一个圈子里,红得发紫

田雨在娱乐圈里不火,是因为他在另外一个圈子里,红得发紫

寒月国际
2024-05-20 14:03:05
李一桐桐姐也是一极品,这翘臀还趴在墙上,也太棒了吧

李一桐桐姐也是一极品,这翘臀还趴在墙上,也太棒了吧

娱乐八卦木木子
2024-05-20 05:28:31
《庆余年》:四大宗师谁最强?

《庆余年》:四大宗师谁最强?

阿芒娱乐说
2024-05-20 09:49:46
开发推广套现“神器”涉案金额高达715亿元,16人被公诉!

开发推广套现“神器”涉案金额高达715亿元,16人被公诉!

正义网新闻
2024-05-20 11:03:07
金正恩有一个“苍白瘦弱”的儿子?虽未公开露面,但韩媒众说纷纭

金正恩有一个“苍白瘦弱”的儿子?虽未公开露面,但韩媒众说纷纭

史小纪
2024-05-20 13:01:22
郭有才骗了所有人?成名前更多细节被扒出,被质疑根本不是草根

郭有才骗了所有人?成名前更多细节被扒出,被质疑根本不是草根

张国平爱唱歌
2024-05-20 09:33:33
从外交站队到经济分野,西方对华投资处于 30 年来最低水平

从外交站队到经济分野,西方对华投资处于 30 年来最低水平

火星宏观
2024-05-20 06:30:03
一年堕胎9次!性交易更是不计其数,光鲜亮丽的背后隐藏着噩梦!

一年堕胎9次!性交易更是不计其数,光鲜亮丽的背后隐藏着噩梦!

情感启示录
2023-08-24 19:00:13
2024-05-20 18:28:49
DeepTech深科技
DeepTech深科技
麻省理工科技评论独家合作
13842文章数 511568关注度
往期回顾 全部

科技要闻

在印尼启用"星链"后 马斯克又考虑建电池厂

头条要闻

国台办就赖清德讲话表态:充分暴露其"台独工作者"本性

头条要闻

国台办就赖清德讲话表态:充分暴露其"台独工作者"本性

体育要闻

8年半,讲不出再见

娱乐要闻

王俊凯现身蔡依林演唱会,牵手唱歌!

财经要闻

韵达快递乱象:管理以罚代管 新政落地难

汽车要闻

智驾升级/月底上市 问界新M7 MAX焕新版

态度原创

亲子
艺术
本地
家居
公开课

亲子要闻

这个粗心的爸爸,神兽爬出婴儿车都没发现

艺术要闻

挖掘艺术界未来的璀璨星辰 | 莱俪青年艺术奖获奖艺术家邓启鹏

本地新闻

强制开锁展铁腕 “交叉执行”勇亮剑

家居要闻

家成幸福 朝昏看开落·一笑小窗中

公开课

父亲年龄越大孩子越不聪明?

无障碍浏览 进入关怀版