网易首页 > 网易号 > 正文 申请入驻

蚂蚁集团推出两款 MoE 大模型,用国产芯片训练成本显著降低

0
分享至

IT之家 3 月 24 日消息,据证券时报报道,近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本。

据IT之家了解,百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

当前,MoE 模型训练通常依赖英伟达 H100 / H800 等高性能 GPU,成本高昂且芯片短缺,限制了其在资源受限环境中的应用。蚂蚁集团 Ling 团队提出“不使用高级 GPU”扩展模型的目标,通过创新训练策略,突破资源与预算限制。具体策略包括:架构与训练策略革新,采用动态参数分配与混合精度调度技术;升级训练异常处理机制,自适应容错恢复系统缩短中断响应时间;优化模型评估流程,自动化评测框架压缩验证周期超 50%;突破工具调用能力,基于知识图谱的指令微调提升复杂任务执行精度。

在五种不同硬件配置下,Ling 团队对 9 万亿个 token 进行 Ling-Plus 预训练。结果显示,使用高性能硬件配置训练 1 万亿 token 的预训练成本约 635 万元人民币,而采用蚂蚁优化方法后,低规格硬件训练成本降至 508 万元左右,节省近 20%,且性能与阿里通义 Qwen2.5-72B-Instruct 和 DeepSeek-V2.5-1210-Chat 相当。

此前,DeepSeek 通过算法创新及工程优化,使用英伟达 H800 训练出性能顶尖的 V3 与 R1 模型,为降低成本、提高效率开辟新道路。蚂蚁集团的技术成果若得到验证推广,将助力国产大模型寻找成本更低、效率更高的国产芯片或其他替代方案,进一步降低对英伟达芯片的依赖。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

可乐谈情感
2026-11-20 04:09:54
APEC“全家福”的围巾里,藏着一个数字

APEC“全家福”的围巾里,藏着一个数字

极目新闻
2026-11-19 21:21:29
该断掉的总要断掉,刻赤大桥垮入海峡

该断掉的总要断掉,刻赤大桥垮入海峡

巴雷文化
2026-11-18 05:04:31
中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

光电科技君
2026-11-19 22:07:05
上海车主傻了:新能源车充电后变“龟速”,时速最多开到25公里!维修费高达8万元,维权5个多月,多方“扯皮”

上海车主傻了:新能源车充电后变“龟速”,时速最多开到25公里!维修费高达8万元,维权5个多月,多方“扯皮”

新民晚报
2026-11-19 17:16:12
加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

体坛周报
2026-11-20 09:32:18
29岁中国女排名将声称国外没有瘦肉精!拒道歉未回应,疑似遭到处罚

29岁中国女排名将声称国外没有瘦肉精!拒道歉未回应,疑似遭到处罚

念洲
2026-11-20 07:16:50
《慌啥子嘛》是一首媚俗歌曲

《慌啥子嘛》是一首媚俗歌曲

关尔东
2026-11-19 23:47:03
极目深度丨一个被无辜烧伤女人的“浴火重生”:姐姐割皮相救,政府垫付百万元医疗费用,不知该向谁索赔

极目深度丨一个被无辜烧伤女人的“浴火重生”:姐姐割皮相救,政府垫付百万元医疗费用,不知该向谁索赔

极目新闻
2026-11-20 07:45:20
领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

罗说NBA
2026-11-20 07:13:18
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

黄河新闻网吕梁
2026-11-19 17:55:11
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
胖东来撤走后,房东降到四百万依然没有人接盘!

胖东来撤走后,房东降到四百万依然没有人接盘!

城事堂
2026-11-19 14:03:31
刚刚,人类史上最大IPO诞生!父亲病逝、自己患癌,Anthropic掌门人的下一站:用AI治愈疾病

刚刚,人类史上最大IPO诞生!父亲病逝、自己患癌,Anthropic掌门人的下一站:用AI治愈疾病

智药局
2026-11-20 02:29:34
武汉48岁女律师倒在律所,“提成律师”伤亡能否认定工伤?

武汉48岁女律师倒在律所,“提成律师”伤亡能否认定工伤?

新京报
2026-11-19 19:45:16
疯了!美国又猛推华为一把

疯了!美国又猛推华为一把

华商韬略毕亚军
2026-11-19 10:13:20
今天 11 月 20 日,全体退休人员注意:11 月养老金发放,必查三项!

今天 11 月 20 日,全体退休人员注意:11 月养老金发放,必查三项!

白昼说故事
2026-11-20 08:55:11
2026-11-20 10:23:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380359文章数 607745关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
手机
旅游
时尚
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版