北京
分享至
11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练。
据介绍，模型预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型SOTA表现，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型。
在技术上，文心5.5 Flash Base围绕"效率"主线，引入Latent-Gated Sparse Attention注意力机制、Multi-Router Latent MoE专家路由与ECHO训练目标，并改进分布式Muon优化器、推出面向大head dim的注意力算子FlashMask-4。
百度表示，Base模型为开发者与企业提供微调与定制空间，可基于自身业务需求构建专业模型与应用。（袁宁）
