网易首页 > 网易号 > 正文 申请入驻

Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率

0
分享至

IT之家 4 月 6 日消息,Meta现已发布旗下最新Llama 4 系列AI 模型,包含 Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth,Meta 透露相应模型都经过了“大量未标注的文本、图像和视频数据”的训练,以使它们具备“广泛的视觉理解能力”

目前,Meta 已将系列模型中的 Scout 和Maverick 上架到Hugging Face(点此访问),而 Behemoth 模型则还在训练中。其中 Scout 可以在单个英伟达H100 GPU 上运行,而Maverick 则需要英伟达H100 DGX AI 平台或“同等性能的设备”。

Meta 表示,Llama 4 系列模型是该公司旗下首批采用混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高,所谓“混合专家架构”基本上是将数据处理任务分解为子任务,然后将它们委派给更小的、专门的“专家”模型。

例如,Maverick 总共有4000 亿个参数,但在128 个“专家”模型中只有170 亿个活跃参数(参数数量大致与模型的问题解决能力相对应)。Scout 有170 亿个活跃参数、16 个“专家”模型以及总计1090 亿个参数。

不过值得注意的是,Llama 4 系列中没有一个模型是像OpenAI 的o1 和o3-mini 那样真正意义上的“推理模型”。作为比较,“推理模型”会对其答案进行事实核查,并且通常能更可靠地回答问题,但因此也比传统的“非推理”模型花费更长的时间来给出答案。

Meta 内部测试显示,Maverick 模型最适合用于“通用AI 助手和聊天”等应用场景,该模型在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试中表现超过了OpenAI 的GPT-4o 和谷歌的Gemini 2.0 等模型。然而 Maverick 与谷歌的 Gemini 2.5 Pro、Anthropic 的Claude 3.7 Sonnet 和OpenAI 的GPT-4.5 等功能更强大的最新模型相比仍有一定进步空间。

而 Scout 的优势则是总结文档、基于大型代码库进行推理。该模型支持 1000 万个词元(“词元”代表原始文本的片段,例如单词“fantastic”可拆分为“fan”、“tas”和“tic”),因此一次可以处理“多达数百万字的文本”。

IT之家注意到,Meta 还进一步预告了其 Behemoth 模型,据该公司称,Behemoth 有2880 亿个活跃参数、16 个“专家”模型,总参数数量接近2 万亿个。Meta 的内部基准测试显示,在一些衡量解决数学问题等科学、技术、工程和数学(STEM)技能的评估中,Behemoth 的表现优于GPT-4.5、Claude 3.7 Sonnet 和Gemini 2.0 Pro,但不如Gemini 2.5 Pro。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
方星海、王仁海、刘刻福、付兆庚、刘畅、李金涛、王永全、刘忠高接受纪律审查和监察调查

方星海、王仁海、刘刻福、付兆庚、刘畅、李金涛、王永全、刘忠高接受纪律审查和监察调查

豫府号
2026-07-24 23:24:00
日本永住申请8.2万人排队煎熬:东京连续5个月“拒大于签”

日本永住申请8.2万人排队煎熬:东京连续5个月“拒大于签”

东瀛万事通
2026-07-25 11:04:38
美重型轰炸机直扑伊朗,但最致命的是以色列再度入场!

美重型轰炸机直扑伊朗,但最致命的是以色列再度入场!

寰球经纬所
2026-07-24 17:16:45
好消息来了!确定了,各地将上调基础养老金,养老待遇再提高?

好消息来了!确定了,各地将上调基础养老金,养老待遇再提高?

虎哥闲聊
2026-07-25 09:41:10
税收4亿,工资26亿:财政没钱,为什么编内待遇不能动?

税收4亿,工资26亿:财政没钱,为什么编内待遇不能动?

混沌录
2026-07-23 17:11:06
传8年谣言彻底翻车!张柏芝三胎生父真相大白

传8年谣言彻底翻车!张柏芝三胎生父真相大白

阿废冷眼观察所
2026-07-25 11:19:27
印尼高层炸锅!总统被怼:不管你喜不喜欢,中国还是你最大金主

印尼高层炸锅!总统被怼:不管你喜不喜欢,中国还是你最大金主

菁菁子衿
2026-07-25 15:48:30
三维挂谷猜想,除了让CT辐射剂量下降50%,还能改变什么?

三维挂谷猜想,除了让CT辐射剂量下降50%,还能改变什么?

粤语音乐喷泉
2026-07-25 08:49:51
里奇保罗爆料:一开始詹姆斯选择重返热火,但76人交易得到了布朗

里奇保罗爆料:一开始詹姆斯选择重返热火,但76人交易得到了布朗

夜白侃球
2026-07-25 14:20:27
属相羊:7月下旬,家中一人“非走不可”?别伤心,好运已敲门

属相羊:7月下旬,家中一人“非走不可”?别伤心,好运已敲门

小陆搞笑日常
2026-07-25 15:24:22
人民日报发声:机关事业单位的隐性收入,正在消失

人民日报发声:机关事业单位的隐性收入,正在消失

细说职场
2026-07-23 13:31:36
和吴越再婚真相大白后,辛柏青首次谈及朱媛媛,一句话让全场泪崩

和吴越再婚真相大白后,辛柏青首次谈及朱媛媛,一句话让全场泪崩

春日筆記
2026-07-23 19:35:10
配享太庙!抗击渐冻症7年的蔡磊迎一大好消息,各大官媒同步发文

配享太庙!抗击渐冻症7年的蔡磊迎一大好消息,各大官媒同步发文

云舟史策
2026-07-21 11:30:22
伊朗被炸死伤惨重!美国之外,又有两大军事强国准备参战

伊朗被炸死伤惨重!美国之外,又有两大军事强国准备参战

大国之翼
2026-07-24 06:36:10
“你好辛苦,给人家生孩子”郭碧婷回应:什么叫我给人家生孩子,我是没能力吗?

“你好辛苦,给人家生孩子”郭碧婷回应:什么叫我给人家生孩子,我是没能力吗?

韩小娱
2026-07-25 16:53:32
事情越闹越大,瑟尔斯基官位难保,泽连斯基可能被迫开铡爱将

事情越闹越大,瑟尔斯基官位难保,泽连斯基可能被迫开铡爱将

晨枫老苑
2026-07-24 18:05:10
北海舰队原政委陈先锋海军中将逝世,享年85岁

北海舰队原政委陈先锋海军中将逝世,享年85岁

澎湃新闻
2026-07-25 07:58:27
内幕翻车!朱芳雨火速离队绝非成绩问题,真实原因藏不住了!

内幕翻车!朱芳雨火速离队绝非成绩问题,真实原因藏不住了!

舟望停云
2026-07-25 14:47:08
获菲尔兹奖的两位中国数学家,不在中国当差

获菲尔兹奖的两位中国数学家,不在中国当差

木蹊说
2026-07-24 12:52:30
钱再多有啥用?张雪峰遗孀和独女现状曝光,给所有中年夫妻提了醒

钱再多有啥用?张雪峰遗孀和独女现状曝光,给所有中年夫妻提了醒

流年顛簸
2026-07-24 13:01:37
2026-07-25 19:55:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
356854文章数 607396关注度
往期回顾 全部

科技要闻

星舰13飞全中!20颗真卫星出舱

头条要闻

SK掌门人离婚前妻分43.7亿 男方登报承认与他人婚外情

头条要闻

SK掌门人离婚前妻分43.7亿 男方登报承认与他人婚外情

体育要闻

拿过两个金球奖,却说它只值10英镑

娱乐要闻

王祖贤这么缺钱吗 竟然把自己卖给了AI

财经要闻

滥用市场支配地位 携程被罚没51.79亿元

汽车要闻

精致硬汉 吉利银河战舰700是台不一样的方盒子SUV

态度原创

家居
手机
艺术
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

小米神秘旗舰三证齐全:玄戒芯片+OS+AI大模型大会师!全自研

艺术要闻

秋天有一种独特的美丽

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国考虑对第8国动武

无障碍浏览 进入关怀版