网易首页 > 网易号 > 正文 申请入驻

33.5万亿Token喂出来!百度文心5.5 Flash Base正式开源

0
分享至

快科技11月6日消息,百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。

这款模型采用MoE混合专家架构,总参数量达到2800亿,但每个Token实际激活的参数只有140亿。整个模型使用33.5万亿个Token完成预训练,微调和推理阶段支持最长100万Token上下文。

从参数规模来看,文心5.5 Flash Base并不算小,但它的重点并不是一味堆参数,而是尽可能提高计算效率。

简单来说,MoE架构可以让模型根据不同任务,选择部分专家参与计算,而不是每次都调用全部参数。文心5.5 Flash Base总参数达到2800亿,每个Token只激活140亿参数,在保留较大模型容量的同时,也能减少实际计算量。

上下文长度也是这次的一大看点。模型预训练阶段最高支持128K上下文,而经过微调后,推理阶段最长可以支持100万Token。对于需要处理长文档、代码仓库和大量资料的开发者来说,这项能力比较实用。

百度还针对模型效率做了不少优化。

在注意力机制上,文心5.5 Flash Base采用混合稀疏注意力方案,通过压缩历史信息,减少处理长文本时的显存占用。同时引入多路由专家机制,让多个路由器共同参与专家选择,提高计算资源的利用率。

训练方面,模型采用Muon优化器和FP8混合精度,并推出自研FlashMask-4注意力算子,进一步改善大规模训练时的计算和显存效率。

性能方面,百度公布的测试结果显示,文心5.5 Flash Base在知识、推理、数学、代码、多语言和长上下文等多个项目中取得同尺寸模型领先成绩。


Benchmark评测结果

其中,MMLU成绩达到93.3分,MMLU-Pro达到78.4分,HumanEval+达到82.3分,MBPP+达到81.5分。在代码测试中,相比DeepSeek-V4-Flash-Base等同级模型有明显优势。

不过需要注意,这次开源的是纯预训练基座模型,还没有经过中训练和后训练。也就是说,它并不是下载下来就能直接当作成熟聊天机器人使用,而是主要提供给开发者和企业,用于后续指令微调、领域适配和强化学习。

目前,百度已经在Hugging Face上提供FP8和BF16两种版本的模型权重,方便不同需求的开发团队下载使用。

百度也表示,经过后训练的ERNIE 5.5 Flash版本将在后续推出。

这次开源最大的看点,是百度把一个2800亿参数、经过33.5万亿Token训练的模型开放给开发者,同时通过MoE和稀疏注意力等技术控制计算成本。

随着大模型竞争越来越激烈,单纯比拼参数规模已经不够了,模型能不能跑得快、占用多少显存,以及后续训练是否方便,同样重要。文心5.5 Flash Base的开源,也给国内开发者提供了一个新的选择。


文心5.5 Flash Base架构图

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

念洲
2026-11-21 13:12:32
哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

醉卧浮生
2026-11-21 10:57:09
人老了真的没什么意思,我爸今年72岁,独自在家每天就做这五件事

人老了真的没什么意思,我爸今年72岁,独自在家每天就做这五件事

九哥哥车评
2026-11-21 09:38:35
奥斯卡影后自曝做了隆胸,还当场报出主刀医生名字

奥斯卡影后自曝做了隆胸,还当场报出主刀医生名字

生活观察员啊
2026-11-21 02:30:35
2-2!英超大冷门:13.8亿豪门止步联赛5连胜 队长送礼门神伤退

2-2!英超大冷门:13.8亿豪门止步联赛5连胜 队长送礼门神伤退

狍子歪解体坛
2026-11-22 03:29:19
台湾股市崩盘,台媒:很多人借钱炒股,股灾影响恐蔓延到日常生活

台湾股市崩盘,台媒:很多人借钱炒股,股灾影响恐蔓延到日常生活

海峡导报社
2026-11-21 15:40:07
传某省两家汽车经销商集团面临爆雷:现金流枯竭

传某省两家汽车经销商集团面临爆雷:现金流枯竭

CNMO科技
2026-11-20 16:40:47
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
CBA杯-广东爆冷惨负香港金牛出局 徐杰21+8+6全队仅1人上双

CBA杯-广东爆冷惨负香港金牛出局 徐杰21+8+6全队仅1人上双

醉卧浮生
2026-11-21 22:00:16
27岁庞众望完成博士论文答辩,即将从清华毕业,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

27岁庞众望完成博士论文答辩,即将从清华毕业,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

极目新闻
2026-11-20 16:53:20
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

东方豪侠
2026-11-21 13:27:30
维尼修斯点赞切尔西惨败的帖子,昔日主帅阿隆索出现在配图中

维尼修斯点赞切尔西惨败的帖子,昔日主帅阿隆索出现在配图中

懂球帝
2026-11-22 01:42:54
德州发布最新人事任免

德州发布最新人事任免

中国山东网
2026-11-21 12:52:14
露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

平老师666
2026-11-21 08:49:53
爆燃致5人遇难,郑州市调查组:建议不追究车主刑责

爆燃致5人遇难,郑州市调查组:建议不追究车主刑责

极目新闻
2026-11-21 14:32:12
特朗普:普京亲口告诉我,如果当年是我担任总统,俄乌战争根本不会爆发;目前谈判的一大困难,是普京与泽连斯基之间存在“深刻仇恨”

特朗普:普京亲口告诉我,如果当年是我担任总统,俄乌战争根本不会爆发;目前谈判的一大困难,是普京与泽连斯基之间存在“深刻仇恨”

大风新闻
2026-11-21 09:33:02
峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

军情观察家
2026-11-21 13:10:14
慌啥子嘛,越来越不对劲了

慌啥子嘛,越来越不对劲了

大张的自留地
2026-11-21 13:02:04
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
2026-11-22 04:24:49
快科技 incentive-icons
快科技
一起关注每日科技热点
133495文章数 261295关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

墨西哥女总统发布深圳行vlog

头条要闻

墨西哥女总统发布深圳行vlog

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
手机
艺术
房产
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

iPhone Air 2最新机模曝光!后置双摄 新增4800万像素超广角

艺术要闻

世界十大著名宫殿盘点:中国独占两席

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版