网易首页 > 网易号 > 正文 申请入驻

百度披露文心5.5 Flash Base三架构创新

0
分享至

IT时代网11月5日消息,百度今日通过官方公众号披露了昨日开源的文心 5.5 Flash Base 基座模型的技术细节。这一 MoE 架构模型总参数量 2800 亿、每 Token 激活 140 亿参数,
此前本站已报道其开源消息(点此回顾),本次官方进一步阐述了围绕「效率」主线的多项架构设计。在注意力机制上,文心提出 Latent-Gated Sparse Attention,将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合起来。模型通过组合 HCA 与 MLA,让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务;低秩门控注意力改用注意力层本就会生成的低秩 query latent 来计算输出门,门控投影参数量减少 75%,模型效果也有所提升。虚拟头注意力(VHA)可提升模型表达力与训练质量,推理时融合进注意力算子,开销极小。这些设计降低了长上下文处理的资源开销,同时保留模型对关键信息的处理能力。在专家路由上,模型采用 Multi-Router Latent MoE,由多个独立路由器共同参与专家选择,改善路由评分与专家实际效用之间的相关性。相比依赖单一路由器的传统方案,该设计旨在降低单一评分偏差对专家选择的影响,同时保持激活专家数量、专家计算量和通信量不变。在训练目标上,模型引入 ECHO,无需额外增加 MTP 模块,而是复用主干最后一层,让主干自身学习预测后续 Token,从而提前规划序列走向,有效提升推理与代码能力。文心 5.5 Flash 仅采用单步 ECHO 预训练,复用的最后一层还可作为投机解码的草稿模型,展现出多步外推能力:同样只训练一步,多步起草质量大幅优于辅助 MTP 模块。除模型架构外,文心改进了分布式 Muon 优化器,并推出面向大 head dim 的注意力算子 FlashMask-4,改善大规模训练中的通信、显存利用与计算效率。官方表示,Base 模型为开发者和企业提供了进一步微调与定制的空间,可基于自身业务需求构建适应不同场景的专业模型与应用。注:本文封面图由AI生成,正文配图源自百度官方。。


注:本文封面图由AI生成,正文配图源自百度官方。,文中包含AI辅助创作的内容。

编辑:林一舟

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
骑士3配角展身价!沃特森提上限,海佐尼亚即插即用,托布空间C

骑士3配角展身价!沃特森提上限,海佐尼亚即插即用,托布空间C

篮球资讯达人
2026-11-21 11:55:47
退出国家队后首战!C罗离谱连场失点+致球队被逆转 懊恼仰天怒吼

退出国家队后首战!C罗离谱连场失点+致球队被逆转 懊恼仰天怒吼

我爱英超
2026-11-21 04:25:02
CBA最新消息!上海男篮或裁掉拉塞尔,浙江广厦留用威尔斯

CBA最新消息!上海男篮或裁掉拉塞尔,浙江广厦留用威尔斯

体坛瞎白话
2026-11-21 11:08:02
“游客乱成一团,又冷又饿,接待很一般”,网友发帖称滞留在三峡之巅景区,景区回应:已增派车辆,会把所有游客安全送出景区后再下班

“游客乱成一团,又冷又饿,接待很一般”,网友发帖称滞留在三峡之巅景区,景区回应:已增派车辆,会把所有游客安全送出景区后再下班

南方都市报
2026-11-20 22:42:14
黄仁勋被传募资500亿美元创业,Anthropic上市首日遭硅谷联合抵制,腾讯大幅削减元宝投入,谢欣朋友圈辟谣离职,这就是今天的其他大新闻!

黄仁勋被传募资500亿美元创业,Anthropic上市首日遭硅谷联合抵制,腾讯大幅削减元宝投入,谢欣朋友圈辟谣离职,这就是今天的其他大新闻!

差评XPIN
2026-11-21 01:34:56
有人好奇,特朗普来了、普京来了、卡尼来了,连日韩领导人也来了,为什么唯独不见欧洲人?

有人好奇,特朗普来了、普京来了、卡尼来了,连日韩领导人也来了,为什么唯独不见欧洲人?

回京历史梦
2026-11-21 09:29:17
曾仅存13只!佛山男子买甲鱼苗竟混进4只,科学家花40年培育926只

曾仅存13只!佛山男子买甲鱼苗竟混进4只,科学家花40年培育926只

云居历史
2026-11-21 03:29:16
俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

军机Nova
2026-11-21 00:55:32
马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

政知新媒体
2026-11-21 08:41:16
A股:来不及等开盘了,种种迹象表明,11月23日周一将迎更大考验

A股:来不及等开盘了,种种迹象表明,11月23日周一将迎更大考验

云鹏叙事
2026-11-21 10:02:48
脸都不要了,CBA豪门21分惨败NBL球队,升降级真该淘汰

脸都不要了,CBA豪门21分惨败NBL球队,升降级真该淘汰

宗介说体育
2026-11-21 10:12:05
黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

智东西
2026-11-21 07:16:31
科技大跌的原因?通富微电跌停,董事长带货卖茶!股民:周一够喝一壶

科技大跌的原因?通富微电跌停,董事长带货卖茶!股民:周一够喝一壶

金石随笔
2026-11-21 08:06:52
黄仁勋女儿被曝大瓜

黄仁勋女儿被曝大瓜

小鱼爱鱼乐
2026-11-20 16:51:38
他是中央军委原副主席,88年晋升上将,两个儿子分别为中将和少将!

他是中央军委原副主席,88年晋升上将,两个儿子分别为中将和少将!

史不语
2026-11-21 11:40:07
任达华毁容烧声!半边烂脸急就医 狠甩鲜肉男星5巴掌超内疚

任达华毁容烧声!半边烂脸急就医 狠甩鲜肉男星5巴掌超内疚

ETtoday星光云
2026-11-19 10:11:03
美国商务与司法部发声明 披露英伟达Megaspeed芯片转运调查时间线

美国商务与司法部发声明 披露英伟达Megaspeed芯片转运调查时间线

别人都叫我阿腈
2026-11-21 06:19:46
《华尔街日报》|马斯克成为中期选举后最新一位向民主党示好的科技大佬

《华尔街日报》|马斯克成为中期选举后最新一位向民主党示好的科技大佬

一半杯
2026-11-20 14:12:41
小米269元新品开售:1.77英寸+2190mAh

小米269元新品开售:1.77英寸+2190mAh

全是技能
2026-11-20 12:08:45
U17世界杯积分榜:摩洛哥力压西班牙领跑,国少暂列第3

U17世界杯积分榜:摩洛哥力压西班牙领跑,国少暂列第3

懂球帝
2026-11-21 03:33:31
2026-11-21 12:08:49
IT时代网 incentive-icons
IT时代网
IT时代网官方账号
22490文章数 2164关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
艺术
亲子
健康
家居

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

艺术要闻

2026第七届民族美术作品展 油画选二

亲子要闻

幼儿园不睡午觉还理直气壮?

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版