北京
2026年11月5日消息，百度文心大模型今日发布并开源 ERNIE-5.5-Flash-Base（文心5.5 Flash Base），开放了 ERNIE 5.5 Flash 预训练终点的权重。这是一个稀疏 MoE 语言模型，总参数 280B（2800亿），每 token 激活 14B（140亿），在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理阶段可外扩至 1M tokens。
与面向终端用户的应用模型不同，本次发布的权重未经中训练与后训练，官方将其定位为“领域适配、指令微调和强化学习研究的共同起点”，开发者可在此基础上进行领域适配、指令微调、强化学习，乃至面向 Agent 的行为塑造。官方同时表示，Base 模型只是起点，经过后训练的 ERNIE 5.5 Flash 将随后推出。
该模型的设计主线是效率。在注意力机制上，文心提出 Latent-Gated Sparse Attention，将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合：通过组合 HCA 与 MLA，让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务；低秩门控注意力改用注意力层本就会生成的低秩 query latent 来计算输出门，门控投影参数量减少 75%，模型效果也有所提升；虚拟头注意力（VHA）则提升表达力与训练质量，推理时融合进注意力算子，开销极小。
专家路由上采用 Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用之间的相关性，同时保持激活专家数量、专家计算量和通信量不变。训练目标上引入 ECHO，无需额外增加 MTP 模块，而是复用主干最后一层让主干自身学习预测后续 token，从而提前规划序列走向，有效提升推理与代码能力；复用的最后一层还可作为投机解码的草稿模型。
基建层面，优化器采用分布式 Muon，在数千卡规模下将 Dense 参数与 MoE 参数的跨机通信合并为一次集合通信，降低跨机时延与抖动；注意力算子采用基于 CuTe-DSL 的 FlashMask-4，支持 SM90 与 SM100 架构，head dim 最高支持 576（qk）/ 512（v）。
文心大模型在 30 项 Benchmark 上评测了 ERNIE-5.5-Flash-Base，涵盖综合、知识、理科、推理、多语言、代码与长上下文七类能力，并列出同等规模 Base 模型 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 的结果，四个模型均基于各自公开发布的 checkpoint、使用同一套评测框架。官方称其在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型 SOTA 表现。
目前该模型已开放权重，并联合 vLLM、SGLang 等社区提供开源生态支持，Hugging Face 提供 FP8 与 BF16 两种精度。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
