网易首页 > 网易号 > 正文 申请入驻

百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA

0
分享至

11月5日,百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。模型采用MoE架构,总参数量2800亿,每个 Token 激活140亿参数,使用33.5万亿个 Token 完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万 Token上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型 SOTA 表现,超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。

开源地址:https://huggingface.co/baidu/ERNIE-5.5-Flash-Base



随着大模型应用从文本问答向长文档分析、多轮交互和智能体任务延伸,模型需要处理的信息量持续增加,计算和显存开销也随之上升。在保证模型能力的同时提高资源利用效率,已成为大模型研发的重要课题。

文心 5.5 Flash Base围绕“效率”这一设计主线,在注意力机制、专家路由及训练机制等关键环节进行系统性优化,并实现了多项算法创新。

在注意力机制上,文心提出 Latent-Gated Sparse Attention,将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合起来。其中,模型通过组合HCA与MLA,让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务;低秩门控注意力(Low-Rank Gated Attention)则利用已有的低维表示计算信息门控,使门控投影权重参数减少75%;此外,虚拟头注意力(Virtual Head Attention,VHA)可提升模型表达力与训练质量,推理时融合进注意力算子,开销极小。这些设计降低了长上下文处理的资源开销,同时保留模型对关键信息的处理能力。

在专家路由上,模型采用 Multi-Router Latent MoE,由多个独立路由器共同参与专家选择,改善路由评分与专家实际效用之间的相关性。相比依赖单一路由器的传统方案,该设计旨在降低单一评分偏差对专家选择的影响,同时保持激活专家数量、专家计算量和通信量不变。在训练目标上,模型引入 ECHO,无需额外增加 MTP 模块(Multi-Token Prediction),而是复用主干最后一层,让主干自身学习预测后续 token,从而提前规划序列走向,有效提升推理与代码能力。文心5.5 Flash 仅采用单步 ECHO 预训练,复用的最后一层还可作为投机解码的草稿模型,展现出多步外推能力:同样只训练一步,多步起草质量大幅优于辅助 MTP 模块。

除模型架构外,大模型基建创新也十分重要。文心对分布式Muon优化器进行了优化,并推出面向大 head dim 的注意力算子 FlashMask-4,改善大规模训练中的通信、显存利用与计算效率。模型能力的提升不仅依赖算法本身,也与训练系统能否高效支撑这些设计密切相关。

基座模型不仅承载着预训练阶段形成的通用能力,也是下游模型开发与应用创新的重要基础。与面向终端用户的应用模型不同,Base 模型为开发者和企业提供了进一步微调与定制的空间,可基于自身业务需求构建适应不同场景的专业模型与应用。开放基座模型能够为开发者提供更多技术选择,降低专业模型开发的训练成本与技术门槛。

当前,大模型的竞争逐渐迈向模型能力、训练效率与场景创新协同发展的新阶段。随着推理、Agent等技术与应用加速演进,行业对基座模型的需求也从单一的能力提升,转向更高效的训练范式、更灵活的能力拓展,以及更广泛的场景适配需求。文心5.5 Flash Base在提升模型基础能力与训练推理效率的同时,为开发者和社区提供了更具拓展性的技术基础,推动模型技术走向多样化的能力探索与应用创新。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

流苏晚晴
2026-11-13 22:20:15
晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

温读
2025-03-13 18:28:10
开拓者遭遇2连败!杨瀚森被DNP,CCTV5中途弃播,诺里又被打脸了

开拓者遭遇2连败!杨瀚森被DNP,CCTV5中途弃播,诺里又被打脸了

董说体育
2026-11-18 12:12:12
美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

科普启示录小强哥
2026-11-14 19:50:07
外媒:中国在百舰演习期间,无预警发射了洲际导弹

外媒:中国在百舰演习期间,无预警发射了洲际导弹

军武吐槽君
2026-11-17 23:04:57
黄仁勋想复出被董事会秒拒,众议院民主党领袖:他对美国太危险了

黄仁勋想复出被董事会秒拒,众议院民主党领袖:他对美国太危险了

社会日日鲜
2026-11-18 15:54:25
外媒:深圳何以成为“奇迹之城”?

外媒:深圳何以成为“奇迹之城”?

中国青年报
2026-11-17 12:48:18
耿同学再开炮!用“虾滑”冒充肿瘤发9.7分论文?湘雅二医院陷入争议!土豆泥肿瘤、男性子宫肌瘤,论文工厂造假有多离谱?

耿同学再开炮!用“虾滑”冒充肿瘤发9.7分论文?湘雅二医院陷入争议!土豆泥肿瘤、男性子宫肌瘤,论文工厂造假有多离谱?

梅斯医学
2026-11-17 20:29:15
冷冷冷!网友:上海的3℃那就是冷到骨头了!上海发布大风蓝色预警信号…

冷冷冷!网友:上海的3℃那就是冷到骨头了!上海发布大风蓝色预警信号…

新浪财经
2026-11-18 12:04:32
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
韩国前女总统朴槿惠私生活有多乱,很多人不知道的10个冷知识

韩国前女总统朴槿惠私生活有多乱,很多人不知道的10个冷知识

疯狂的小历史
2026-11-17 11:56:01
中俄美元首首次三方"面谈" 深圳迎来历史性会晤

中俄美元首首次三方"面谈" 深圳迎来历史性会晤

看看新闻Knews
2026-11-17 23:12:04
母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

阿讯说天下
2026-11-18 08:18:31
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

小马姨
2026-11-16 09:42:14
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

人生录
2026-10-22 00:20:08
女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

江山挥笔
2025-07-29 16:50:59
麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

湖人崛起
2026-11-18 11:38:46
“1600元的烤全羊剥不出1两肉!”四川一游客称自己在民宿订餐 和预期严重不符

“1600元的烤全羊剥不出1两肉!”四川一游客称自己在民宿订餐 和预期严重不符

闪电新闻
2026-11-18 11:57:54
2026-11-18 21:11:00
硅星Breaknews incentive-icons
硅星Breaknews
Break news
8711文章数 78关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
手机
游戏
旅游
艺术

教育要闻

孩子厌学三个原因打通一点就愿上学

手机要闻

消息称荣耀明年没有常规大折叠手机,取而代之的是阔折叠

新西兰旅游局官方调侃:最早玩上《GTA6》的地区

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

无障碍浏览 进入关怀版