网易首页 > 网易号 > 正文 申请入驻

Meta震撼发布Llama 3,一夜重回开源大模型铁王座

0
分享至

文|李然、陈斯达

编辑|苏建勋

开源社区灯塔,“真·OpenAI”——Meta抛出了目前最强的开源大模型Llama 3。

来源:官网

模型下载链接:https://llama.meta.com/llama-downloads/GitHub

项目地址:https://github.com/meta-llama/llama3

当地时间4月18日,Meta 发布两款开源Llama 3 8B与Llama 3 70B模型,供外部开发者免费使用。Llama 3的这两个版本,也将很快登陆主要的云供应商。

来源:X

按照Meta的说法,Llama 3 8B和Llama 3 70B是目前同体量下,性能最好的开源模型。

Llama 3 8B在某些测试集上性能比llama 2 70B还要强!

而且在未来几个月内,Meta还会推出更多的版本。英伟达高级科学家Jim Fan认为,之后可能会发布的Llama 3-400B以上的版本,将成为某种“分水岭”,开源社区或将能用上GPT-4级别的模型。

来源:X

传奇研究员,AI开源倡导者吴恩达表示:Llama 3的发布是自己这辈子收到过的最好的礼物,谢谢你Meta!

来源:X

在Llama 3发布后,小扎向外媒表示,“我们的目标不是与开源模型竞争,而是要超过所有人,打造最领先的人工智能。”

具体来说,Llama 3的亮点和特性概括如下:

  • 基于超过15T token训练,大小相当于Llama 2数据集的7倍还多;

  • 训练效率比Llama 2高3倍;

  • 支持8K长文本,改进的tokenizer具有128K token的词汇量,可实现更好的性能;

  • 在大量重要基准测试中均具有最先进性能;

  • 增强的推理和代码能力;

  • 安全性有重大突破,带有Llama Guard 2、Code Shield 和 CyberSec Eval 2的新版信任和安全工具,还能够比Llama 2有更好“错误拒绝表现”。

根据Meta AI的工程师Aston Zhang透露,Llama 3的诞生始于去年夏天,团队攻克了数据集,预训练等方面的一系列难题。

来源:X

他还进一步透露,Llama 3之后还会解锁新的能力——更长的上下文,支持多模态,性能更强的400B版本。

现在,感兴趣的用户已经可以在HuggingChat上体验了。

地址:https://huggingface.co/chat/(需要手动切换至Llama 3)

领先了,但不多

Llama 3确实优于其他开源模型,但优势不大。

Meta展示的基准测试结果包括MMLU、ARC、DROP、GPQA(生物、物理、化学相关的问题集)、HumanEval(代码生成测试)、GSM-8K(数学应用测试)、MATH(同为数学相关基准测试)、AGIEval(问题解决的测试集)以及BIG-Bench Hard(常识推理测试)。

在下图可看到,Llama 3 8B的成绩在九项测试中领先同行。但Mistral 7B(2023年9月发布)和Gemma 7B已经不算最前沿的开源模型。并且在引用的一些基准测试里,Llama 3 8B的得分,还只比这两位高一点点。

来源:官网

在MMLU、HumanEval和GSM-8K上,Llama 3 70B击败了Gemini 1.5 Pro。尽管无法与Anthropic性能最强的模型 Claude 3 Opus媲美,但 Llama 3 70B的性能,已经优于Claude 3系列的中杯模型Sonnet。

来源:官网

在Meta组织的人类反馈评分中,Llama 3 70B打败了Mistral、OpenAI、Claude发布的对应产品。

这个人类反馈测试更贴近用户实际的使用体验,包括了最常见的大模型使用场景:头脑风暴、创意写作、角色扮演、复述、推理、总结等。

来源:官网

Meta不忘卖个关子,说自己目前最大的模型参数,已经超过4000亿(400B),但还在训练。不过据The Verge,Meta 尚未最终决定是否开源400B的版本。

来源:官网

在Llama 2发布后的几个月内,开源社区雨后春笋般地,冒出了很多性能非常强大的开源模型。开源社区的竞争格局,已经有了非常大的变化。

当有人怀疑,Meta还能否继续在激烈地竞争中保持领先时,Meta用Llama 3的发布,让自己重新坐回了开源社区的铁王座之上。

15万亿token,训练数据量大质量高

Llama 3优越的性能,离不开庞大数据集的训练——15 万亿token,几乎是Llama 2的七倍。

堆量只是第一步,Meta在训练时也十分重视数据质量,用上了许多过滤手段。使用合成数据(AI生成的数据)就是一个例子。官网介绍:

我们发现前几代 Llama 非常擅长识别高质量数据,因此我们使用 Llama 2生成训练数据,提供给Llama 3的文本质量分类器,为 Llama 3 提供支持。

在接受“海量投喂”后,新版Llama在回答琐碎问题时应该能更准,在历史、STEM、工科及编程类问题时,也将显得游刃有余。

来源:X

Meta还提到,Llama 3预训练数据集有超过5%的部分,来自高质量的非英语数据。加入这部分的目的在于,能更好满足各国用户、不同语言背景的使用需求。

不过,针对所用训练数据的来源,Meta依然选择打马虎眼:“收集于公开来源(publicly available sources)”。

来源:Hugging Face

而且两个版本的数据截止日期还略微有点不同,8B版本截止日期为2023年3月,70B版本为2023年12月。

Meta因训练数据不足而产生焦虑,4月初时,还曾被无情揭伤疤。

据纽约时报报道,2023年3月到4月期间,Meta高层天天开会,讨论如何把有版权的内容喂给模型训练——有的法子能说,比如收购Simon & Schuster出版社;有的不方便说,比如冒着吃官司的风险,在网上收集有版权的文本。

而且值得注意的是,根据外媒的说法,Llama 3使用的训练数据,有很大一部分是AI合成的数据。

来源:The Verge

看来,用AI训练AI,已经是一件正在发生的事情了。

全面优化训练流程,训练效率比Llama 2高出3倍

Meta还分享了在训练模型的过程中,相比自己前2代模型,做出了很多流程上的优化:数据并行化、模型并行化和管道并行化。

在16000个GPU的集群上训练时,实现了每个GPU超过400 TFLOPS的计算利用率。

为了最大限度地延长GPU的正常运行时间,Meta开发了一种先进的训练堆栈,可以自动执行错误检测、处理和维护。

Meta还极大地改进了硬件可靠性和静默数据损坏检测机制,并且开发了新的可扩展存储系统,以减少检查点和回滚的开销。这些改进,使总体有效培训时间超过 95%。

综合起来,这些改进使Llama 3的训练效率比Llama 2提高了约三倍。

最智能的免费AI助手,秒速文生图

小扎在之前采访中就已经表示过,未来Meta推出的大模型将重塑自家产品的使用体验。

这次同Llama 3一同推出的,还有基于Llama 3构建的Meta AI。

来源:官网

按照小扎的说法,Meta AI已经是目前最智能的免费AI助手。

总结下来,Meta AI与自家APP生态的兼容性,无疑能让使用体验大大提升——无需切换,即可在Instagram、Facebook、WhatsApp 和 Messenger 的搜索框中畅通使用Meta AI。

手机的聊天窗口中,输入问题+@Meta AI,就能得到想要的答案。“私聊”Meta AI对话也是可以的。

来源:官网

刷Facebook时遇到好玩的事情,突发奇想有个疑问,帖子下面点开直接问!

来源:官网

Meta当然没忘记PC端。登入meta.ai,无需注册登录,即可像GPT一样开启对话。当然,登录后可保存对话记录,便于未来参考。

来源:官网

要知道,OpenAI才刚在4月1日宣布无需注册体验ChatGPT。

文生图功能酷炫至极。由于图像生成速度大大加快,每输入几个字母,图像就会发生变化——所输即所得!

来源:官网

Meta AI生成图片质量高,还能在原图基础上生成GIF动图,与好友进行分享。

来源:官网

据The Verge, Meta AI 助手的唯一一个集成了 Bing 和 Google 实时搜索结果的聊天机器人——Meta可决定使用哪种搜索引擎来回答prompt提示词。

据介绍,Meta正向美国以外的十几个国家,推出英语版 Meta AI。澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦将可以使用 Meta AI。

可能是史上最安全的开源大模型

而针对外界关于开源大模型担忧最多的安全性问题,Meta这次看起来也是做了了充足准备。

Meta采用了一种新的系统级方法来负责任地开发和部署Llama 3。他们将Llama 3视为更广泛系统的一部分,让开发人员能够完全掌握模型的主导权。

来源:官网

指令微调在确保模型的安全性方面,也发挥重要作用。

Meta的指令微调模型,已经通过内部和外部进行了红队测试。Meta的红队利用人类专家和自动化方法来生成对抗性提示,试图引发有问题的响应。

他们进行了全面的测试,来评估模型在化学、生物、网络安全和其他风险领域相关的滥用风险。

除此之外,Meta还采用了业内最为先进的大模型安全技术,出生自带Llama Guard 2、Code Shield 和 CyberSec Eval 2的新版信任和安全工具,确保模型不会被轻易越狱,输出有害内容。

看来Meta已经充分吸取了Llama去年意外泄漏的教训,在模型的安全性上下的功夫不亚于对性能的追求。

未来,Meta团队将会公布Llama 3的技术报告,披露模型更多的细节。

而团队成员还表示,Meta官方还会以直播或者博客的形式,让模型开发团队直接与外界进行交流。

总之,Meta没有辜负开源社区对它的期待,继续在大模型开源之路上奋力狂奔!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
班主任的忠告:能考上重点大学的孩子,基本都是从高一开始就狠抓这五件事!

班主任的忠告:能考上重点大学的孩子,基本都是从高一开始就狠抓这五件事!

好爸育儿
2026-11-15 22:45:08
随着新疆男篮31分大胜辽宁,北控30分大胜江西,北京27分轻取深圳,香港金牛17分大胜广州,CBA杯赛8强对阵名单出炉!

随着新疆男篮31分大胜辽宁,北控30分大胜江西,北京27分轻取深圳,香港金牛17分大胜广州,CBA杯赛8强对阵名单出炉!

凯丰侃球
2026-11-23 00:03:44
玻璃瓶更干净?法国科学家的意外发现:玻璃瓶里的微塑料反而更多

玻璃瓶更干净?法国科学家的意外发现:玻璃瓶里的微塑料反而更多

抽象派大师
2026-11-22 01:39:07
3.5亿!3.5亿美元啊!杜兰特最新重磅操作

3.5亿!3.5亿美元啊!杜兰特最新重磅操作

篮球实战宝典
2026-11-22 20:11:48
奥斯卡影后当众承认隆胸:是全新的,全C罩杯

奥斯卡影后当众承认隆胸:是全新的,全C罩杯

热搜摘要官
2026-11-20 20:07:43
昨晚,前夫借故来看孩子,一见面就迫不及待进入正题,我推不开他

昨晚,前夫借故来看孩子,一见面就迫不及待进入正题,我推不开他

第7情感
2025-09-14 11:33:27
山东济阳推进丧俗改革:有村子推行“一日丧”,去世到安葬不超24小时

山东济阳推进丧俗改革:有村子推行“一日丧”,去世到安葬不超24小时

澎湃新闻
2026-11-21 22:20:40
一对35岁湖南兄弟裸辞合伙开餐饮店,光门面装修就花了十几万,最后亏掉上百万,打工积蓄全没,还背上巨额贷款

一对35岁湖南兄弟裸辞合伙开餐饮店,光门面装修就花了十几万,最后亏掉上百万,打工积蓄全没,还背上巨额贷款

捣蛋窝
2026-11-22 18:52:39
大S那些旧微博翻出来,句句扎当妈的心,越看越不敢信她走得这么急

大S那些旧微博翻出来,句句扎当妈的心,越看越不敢信她走得这么急

可乐谈情感
2026-11-22 01:20:58
一个坏消息:中国200万复读生群体面临的非常严峻问题,已经到来

一个坏消息:中国200万复读生群体面临的非常严峻问题,已经到来

次元君情感
2026-11-22 12:19:33
3.73亿!杭州萧山宝龙广场法拍

3.73亿!杭州萧山宝龙广场法拍

红蓝白郁金香V
2026-11-22 18:25:16
热火豪取6连胜难服众?高管泼冷水:倾其所有也难成争冠队

热火豪取6连胜难服众?高管泼冷水:倾其所有也难成争冠队

稻谷与小麦
2026-11-23 00:05:32
反常信号显现:中国股市这次的玩笑,恐怕真的开大了?

反常信号显现:中国股市这次的玩笑,恐怕真的开大了?

星语者056
2026-11-22 12:42:50
0-2半场爆冷!巴萨遭遇“天崩开局”,3分钟丢2球,亚马尔失点球

0-2半场爆冷!巴萨遭遇“天崩开局”,3分钟丢2球,亚马尔失点球

汪星人哟
2026-11-22 21:56:58
金价暴跌,创14个月新低;印度总理莫迪:我很高兴,我劝大家少买黄金,印度人民就真的少买了,许多人因此避免了损失

金价暴跌,创14个月新低;印度总理莫迪:我很高兴,我劝大家少买黄金,印度人民就真的少买了,许多人因此避免了损失

南方都市报
2026-11-22 14:29:58
比任何一艘航母更可怕的,是全世界悄然达成了一个共识:

比任何一艘航母更可怕的,是全世界悄然达成了一个共识:

果妈聊娱乐
2026-11-20 11:34:16
恭喜!39岁颜妮大婚,市长莅临现场,丈夫显成熟,郎平送祝福

恭喜!39岁颜妮大婚,市长莅临现场,丈夫显成熟,郎平送祝福

跑者排球视角
2026-11-22 12:22:54
回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

胡侃社会百态
2026-11-21 19:07:57
触目惊心!男子高速猛打一把方向,后排母亲和弟弟被甩出车窗,事发画面曝光

触目惊心!男子高速猛打一把方向,后排母亲和弟弟被甩出车窗,事发画面曝光

上观新闻
2026-11-22 08:24:56
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
2026-11-23 00:40:49
36氪 incentive-icons
36氪
让一部分人先看到未来
153024文章数 2849429关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

俄导弹落入波兰 北约秘书长吕特强硬回应

头条要闻

俄导弹落入波兰 北约秘书长吕特强硬回应

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

手机
亲子
教育
房产
公开课

手机要闻

安卓同时期No.1,OPPO Reno17火了,友商又要羡慕了

亲子要闻

备孕期的性生活时长与质量,夫妻都该了解

教育要闻

“巨资培养的姐弟俩,只能在家里做饭”,一段窝囊视频,却戳中了无数人的情绪点

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版