网易首页 > 网易号 > 正文 申请入驻

全新Hybrid-MoE架构用于增强通用大模型低资源代码能力

0
分享至

大语言模型(LLM)虽已展现出卓越的代码生成潜力,却依然面临着一道艰巨的挑战:如何在有限的计算资源约束下,同步提升对多种编程语言的理解与生成能力,同时不损害其在主流语言上的性能?

为此,中国移动九天团队创新性地提出了 Hybrid MoE 架构 ——MultiPL-MoE,该方案的核心在于耦合两个层次的专家选择机制进行优化:在 Token 层级,采用配备共享专家及新颖门控权重归一化方法的稀疏 MoE,以实现与段落层级专家的高效协同;在 Segment 层级,则创新性地引入滑动窗口划分与专家选择路由策略,使模型能够精准捕捉不同编程语言的语法结构与深层上下文模式。目前,该项研究已被 EMNLP 2025 接收。

  • 论文标题:MultiPL-MoE: Multi-Programming-Lingual Extension of Large Language Models through Hybrid Mixture-of-Experts
  • 论文链接:https://arxiv.org/abs/2508.19268
  • 代码链接:https://github.com/Eduwad/MultiPL-MoE

背景

现有的通用大模型在代码生成方面已经展示出卓越的能力,然而大量研究表明这些大模型在高资源编程语言(如:Python)与低资源编程语言上(如:Rust)上存在显著的性能差异,后者无论是在线资源还是训练数据集均相对匮乏。对多语言代码生成能力日益增长的需求,促使人们致力于将广泛的编程语言知识注入 LLM。然而,现有的研究主要存在以下两种问题:

1. 使用多种编程语言的数据对基座模型进行继续训练,但存在计算开销极为庞大的问题;

2. 通过特定高质量低资源数据对基座模型进行微调以提升特定编程语言性能,但会引发基座模型原有代码能力的严重灾难性遗忘问题。

因此,我们创新性地提出了一种 Hybrid MoE 结构,即 token-level MoE 和 segment-level MoE 相结合的 MoE 架构。Token-level MoE 采用典型的 sparse upcycling MoE 结构,Segment-level MoE 则利用滑动窗口获得多个分段并搭配采用专家选择 top-k 个分段的专家选择路由的策略。实验结果证明了 MultiPL-MoE 的有效性。

方法

1. MoE 定义

2. MultiPL-MoE

MultiPL-MoE 的提出以优化 token-level 和 segment-level 的专家选择。Token-level MoE 是一种传统的 token 选择路由,结合了共享专家和一种新的路由权重归一化方法,以解决后期与 segment-level MoE 融合时的规模不匹配问题。对于 segment-level MoE,我们采用专家选择路由机制,将输入作为上下文连贯的分段,使专家能够捕捉语法结构和一些篇章级的特征。

图 1 MutilPL-MoE 的整体架构

2.1 Token-level MoE

2.2 Segment-level MoE

最后,融合 token-level MoE 和 segment-level MoE 的第 l 层输出为:

2.3 损失函数

通过将 next token prediction loss 与 load balance loss 相结合来训练混合 MoE。

(1) next token prediction loss

(2) load balance loss

最终的优化目标为:

实验结果

实验结果表明,MultiPL-MoE 在跨语言泛化方面取得了显著进步。MultiPL-MoE 在 HumanEval 和 MBPP 的两个基准测试中均实现了一致的性能,即显著增强了模型在低资源编程语言上的性能,同时有效缓解了高资源编程语言中的灾难性遗忘。同时,我们也注意到,除基础模型 Qwen1.5 外,基线模型、MultiPL-MoE 的 MBPP Python 语言上都表现出持续较低的性能,远远低于其他语言。

图 2 不同 Baseline 及 MultiPL-MoE 在 6 种编程语言上的实验结果。其中,Python,Java,C++ 代表高资源语言,Rust,Go,Ruby 代表低资源语言。

结语

本文提出了一种混合式多语言学习模型 (MoE)——MultiPL-MoE,它同时包含 token-level MoE 和 segment-level MoE。MultiPL-MoE 引入共享专家来捕捉 token 之间的知识共性,并在句段 (segment) 之间获取句段间的语义和逻辑信息。在两个不同的基准测试集上进行的大量实证研究证明了 MultiPL-MoE 是一种在预训练后阶段扩展低源码编程语言的有效方法。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
前10月全国税收收入增长6%,其中个税收入增长22.9%

前10月全国税收收入增长6%,其中个税收入增长22.9%

风向观察
2026-11-20 18:17:34
人事|孙珊任上海市规划和自然资源局局长

人事|孙珊任上海市规划和自然资源局局长

上观新闻
2026-11-20 19:23:37
邝港智供词炸裂!谭方骏喜欢的是他,曾与蔡天凤3人同睡一张床

邝港智供词炸裂!谭方骏喜欢的是他,曾与蔡天凤3人同睡一张床

社会日日鲜
2026-11-20 10:27:11
特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

天光破云来
2026-11-20 13:12:25
TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

手工制作阿歼
2026-11-20 16:14:33
陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

妙妙奇思物语
2026-11-20 14:58:41
悲催!20多年倾尽60万培养的211毕业生遭裁员,河南老父亲发帖控诉,引发轩然大波

悲催!20多年倾尽60万培养的211毕业生遭裁员,河南老父亲发帖控诉,引发轩然大波

火山詩话
2026-11-20 09:53:44
万物新生(爱回收)2026年三季度财报:营收64.5亿元,同比增长25.3%

万物新生(爱回收)2026年三季度财报:营收64.5亿元,同比增长25.3%

市值Observation
2026-11-20 11:18:21
它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

阿龙美食记
2026-11-19 11:00:12
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
现在一些国企总部,越来越像晚清朝廷了

现在一些国企总部,越来越像晚清朝廷了

职场资深秘书
2026-11-20 11:15:00
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

每日经济新闻
2026-11-20 09:59:35
沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

极目新闻
2026-11-20 10:43:41
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
江苏男子撞破妻子出轨,熟睡中被灌进水泥,真相让人后背发凉

江苏男子撞破妻子出轨,熟睡中被灌进水泥,真相让人后背发凉

夜话奇谭
2026-11-20 14:50:59
尾盘,A股突变,爆天量了!

尾盘,A股突变,爆天量了!

中国基金报
2026-11-20 15:53:51
巴萨再出梅西式天才?12岁童星52场狂轰145球 耐克1年前就已签下他

巴萨再出梅西式天才?12岁童星52场狂轰145球 耐克1年前就已签下他

风过乡
2026-11-20 08:54:48
特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

歪歌社团
2026-11-20 07:01:47
回国了我才敢说:日本,是我去过的所有国家中,最被看轻的

回国了我才敢说:日本,是我去过的所有国家中,最被看轻的

瓦伦西亚月亮
2026-11-20 09:39:07
2026-11-20 19:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14523文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

父亲看望在外读书女儿住招待所 遭同屋两男子半夜劫杀

头条要闻

父亲看望在外读书女儿住招待所 遭同屋两男子半夜劫杀

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
时尚
游戏
教育
房产

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

今年冬天不穿大衣了?这件“非凡外套”才是真顶流!

想要《GTA6》主角吃成大胃袋?恐怕要让你失望了

教育要闻

家里长期脏乱,其实是留给孩子昂贵的负担

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版