网易首页 > 网易号 > 正文 申请入驻

蚂蚁集团推出两款 MoE 大模型,用国产芯片训练成本显著降低

0
分享至

IT之家 3 月 24 日消息,据证券时报报道,近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本。

据IT之家了解,百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

当前,MoE 模型训练通常依赖英伟达 H100 / H800 等高性能 GPU,成本高昂且芯片短缺,限制了其在资源受限环境中的应用。蚂蚁集团 Ling 团队提出“不使用高级 GPU”扩展模型的目标,通过创新训练策略,突破资源与预算限制。具体策略包括:架构与训练策略革新,采用动态参数分配与混合精度调度技术;升级训练异常处理机制,自适应容错恢复系统缩短中断响应时间;优化模型评估流程,自动化评测框架压缩验证周期超 50%;突破工具调用能力,基于知识图谱的指令微调提升复杂任务执行精度。

在五种不同硬件配置下,Ling 团队对 9 万亿个 token 进行 Ling-Plus 预训练。结果显示,使用高性能硬件配置训练 1 万亿 token 的预训练成本约 635 万元人民币,而采用蚂蚁优化方法后,低规格硬件训练成本降至 508 万元左右,节省近 20%,且性能与阿里通义 Qwen2.5-72B-Instruct 和 DeepSeek-V2.5-1210-Chat 相当。

此前,DeepSeek 通过算法创新及工程优化,使用英伟达 H800 训练出性能顶尖的 V3 与 R1 模型,为降低成本、提高效率开辟新道路。蚂蚁集团的技术成果若得到验证推广,将助力国产大模型寻找成本更低、效率更高的国产芯片或其他替代方案,进一步降低对英伟达芯片的依赖。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
严查!中央开始对机关事业单位大整顿!这几类人要倒霉了

严查!中央开始对机关事业单位大整顿!这几类人要倒霉了

职场资深秘书
2026-11-18 16:03:57
A股:今天精准收跌在3584点,信号非常强烈!明日将迎来关键转折

A股:今天精准收跌在3584点,信号非常强烈!明日将迎来关键转折

云鹏叙事
2026-11-18 00:00:04
从60跌到21暴跌64%,今天又20CM闪崩跌停,没走的股民全被一锅端

从60跌到21暴跌64%,今天又20CM闪崩跌停,没走的股民全被一锅端

财经智多星
2026-11-18 13:23:33
黄仁勋事件,美国政府突然回过味来

黄仁勋事件,美国政府突然回过味来

牛弹琴
2026-11-18 07:40:33
不可思议!刘欢安葬后网友发文感慨,墓穴售价数十万,每年另缴5%管护费,担忧千年后无人续费,期盼其墓园纳入文保体系、专人管护

不可思议!刘欢安葬后网友发文感慨,墓穴售价数十万,每年另缴5%管护费,担忧千年后无人续费,期盼其墓园纳入文保体系、专人管护

火山詩话
2026-11-16 06:48:40
俄罗斯记者赴深报道APEC,提前换好现金,最后一分没花:太先进了

俄罗斯记者赴深报道APEC,提前换好现金,最后一分没花:太先进了

行者聊官
2026-11-18 11:55:37
环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球网资讯
2026-11-17 17:49:03
英伟达临时CEO称将不再向中国出货H200芯片 外交部:中方已多次阐明在美国输华芯片问题上的原则立场

英伟达临时CEO称将不再向中国出货H200芯片 外交部:中方已多次阐明在美国输华芯片问题上的原则立场

每日经济新闻
2026-11-18 18:43:09
主持人张泉灵被曝猛料,公司成老赖,离开央视后活成了这样

主持人张泉灵被曝猛料,公司成老赖,离开央视后活成了这样

不似少年游
2026-11-18 11:35:34
A股三大指数快速拉升翻红

A股三大指数快速拉升翻红

证券时报
2026-11-18 13:46:04
新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社
2026-11-18 15:44:19
克里米亚大桥被炸塌,对俄罗斯意味着什么?

克里米亚大桥被炸塌,对俄罗斯意味着什么?

山河路口
2026-11-18 18:00:20
此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

磊子讲史
2026-11-18 14:30:02
外交部回应英伟达临时CEO涉芯片言论

外交部回应英伟达临时CEO涉芯片言论

每日经济新闻
2026-11-18 16:06:55
赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

移光幻影
2026-11-18 11:47:34
刚刚!苹果新品突然上架,真的心动啊

刚刚!苹果新品突然上架,真的心动啊

科技堡垒
2026-11-18 08:00:35
深圳APEC领导人会议今日开幕,你必须知道的10件事

深圳APEC领导人会议今日开幕,你必须知道的10件事

刘润
2026-11-18 08:07:50
红船观察丨王忠林被查,权威声音释放关键信息

红船观察丨王忠林被查,权威声音释放关键信息

红船融媒
2026-11-17 11:36:09
一首《慌啥子嘛》把我听吐了......

一首《慌啥子嘛》把我听吐了......

细雨中的呼喊
2026-11-17 18:21:32
2026-11-18 19:40:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380010文章数 607742关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

旅游
本地
房产
公开课
军事航空

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

6.6亿!海口卖地!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版