网易首页 > 网易号 > 正文 申请入驻

重磅!Meta推出开源大模型Llama 3,性能直逼GPT-4

0
分享至

当地时间4月18日,AI 领域迎来重磅消息,Meta正式发布了人们等待已久的开源大模型Llama 3。

与此同时,Meta首席执行官扎克伯格宣布:基于最新的Llama 3模型,Meta的AI助手现在已经覆盖Instagram、WhatsApp、Facebook等全系应用,并单独开启了网站。另外还有一个图像生成器,可根据自然语言提示词生成图片。

Meta首席执行官马克·扎克伯格在一段视频中表示,该助理可以回答问题、制作动画和生成图像。

扎克伯格在 Facebook 上发帖:Big AI news today

Meta首席执行官马克·扎克伯格在视频中表示:我们相信,Meta AI现在是你可以自由使用的最智能的人工智能助手。Meta AI内置于WhatsApp、Instagram、Facebook和Messenger应用程序的搜索框中,因此用户可以轻松地提出可以通过新工具回答的问题。

扎克伯格表示,Meta 提供的生成式 AI 能力在免费产品中性能是最强大的。

在 Facebook、Instagram、WhatsApp 和 Messenger 上,用户现在可以借助 Meta AI 进行搜索,无需在应用程序之间切换:

当你浏览信息流的时候,还可以直接从帖子中向 Meta AI 询问更多信息:

图像生成器带来的玩法更加有趣,Imagine 功能带来了从文本实时创建图像。这一功能的测试版从今天开始在美国的 WhatsApp 和 Meta AI 网络体验上推出。

开始打字时,你会看到一个图像出现,每多输入几个字母,图像都会发生变化:

Meta表示,Llama 3在多个关键的基准测试中性能优于业界先进同类模型,其在代码生成等任务上实现了全面领先,能够进行复杂的推理,可以更遵循指令,能够可视化想法并解决很多微妙的问题。

Llama 3的主要亮点包括:

基于超过15T token训练,相当于Llama 2数据集的7倍还多;

支持8K长文本,改进的tokenizer具有128K token的词汇量,可实现更好的性能;

在大量重要基准中均具有最先进性能;

新能力范畴,包括增强的推理和代码能力;

训练效率比Llama 2高3倍;

带有Llama Guard 2、Code Shield和CyberSec Eval 2的新版信任和安全工具。

刚刚发布的8B和70B版本Llama 3模型已用于Meta AI助手,同时也面向开发者进行了开源,包括预训练和微调版本。

最新发布的8B和70B参数的Llama 3模型可以说是Llama 2的重大飞跃,由于预训练和后训练(Post-training)的改进,本次发布的预训练和指令微调模型是当今8B和70B参数规模中的最佳模型。与此同时,后训练过程的改进大大降低了模型出错率,进一步改善了一致性,并增加了模型响应的多样性。

Llama 3将数据和规模提升到新的高度。Meta表示,Llama 3是在两个定制的24K GPU集群上、基于超过15T token的数据上进行了训练——相当于Llama 2数据集的7倍还多,代码数据相当于Llama 2的4倍。从而产生了迄今为止最强大的Llama模型,Llama 3支持8K上下文长度,是Llama 2容量的两倍。

此外,Meta还开发了一套新的高质量人类评估数据集。该评估集包含1800个提示,涵盖12个关键用例:寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色、开放式问答、推理、重写和总结。为了防止Llama 3在此评估集上出现过度拟合,Meta表示他们自己的团队也无法访问该数据集。下图显示了针对Claude Sonnet、Mistral Medium和GPT-3.5对这些类别和提示进行人工评估的汇总结果。

下图是 Llama 3 预训练模型和其他同等规模模型的比较,前者表现出 SOTA 水平。

为了训练最好的语言模型,管理大型、高质量的训练数据集至关重要。Meta在预训练数据上投入了大量成本。Llama 3使用超过15T的token进行了预训练,这些token都是从公开来源收集的。总体上讲,Llama 3的训练数据集是Llama 2使用的数据集的七倍多,并且包含四倍多的代码。为了为即将到来的多语言用例做好准备,超过5%的Llama 3预训练数据集由涵盖30多种语言的高质量非英语数据组成。但是,Llama 3在这些语言上的性能水平预计不会与英语相同。

为了确保Llama 3接受最高质量数据的训练,研究团队开发了一系列数据过滤pipeline,包括使用启发式过滤器(filter)、NSFW过滤器、语义重复数据删除方法和文本分类器来预测数据质量。

研究团队发现前几代Llama非常擅长识别高质量数据,因此Meta使用Llama 2为给Llama 3提供支持的文本质量分类器生成训练数据。

研究团队还进行了广泛的实验,以评估出在最终预训练数据集中不同来源数据的最佳混合方式,最终确保Llama 3在各种用例(包括日常问题、STEM、编码、历史知识等)中表现良好。

Meta表示,最大的Llama 3参数超过400B,虽然这些机型仍在训练中,但在接下来的几个月中也将陆续发布,新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。

Meta希望Llama 3能赶上OpenAI的GPT-4。不过知情人士透露,因为研究人员尚未开始对Llama 3进行微调,所以尚未决定Llama 3是否将是多模态模型。微调是开发人员为现有模型提供额外数据的过程,以便它可以学习新信息或任务。较大的模型通常会提供更高质量的答复,而较小的模型往往会更快的提供答复。有消息称,正式版的Llama 3将会在今年7月正式推出。

Meta还宣布与Alphabet的谷歌建立新的合作伙伴关系,在助手的答复中包括实时搜索结果,作为与微软必应现有合作的补充。随着此次更新,Meta AI助手正在扩展到美国以外的十多个市场,包括澳大利亚、加拿大、新加坡、尼日利亚和巴基斯坦。考克斯说,Meta“仍在努力以正确的方式在欧洲做到这一点”。欧洲的隐私规定更加严格,即将出台的人工智能法案也准备提出披露模型训练数据等要求。

每日经济新闻综合公开资料

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特斯拉Model Y跑广州到杭州,1245公里充5次电:路费890元

特斯拉Model Y跑广州到杭州,1245公里充5次电:路费890元

小怪吃美食
2026-11-21 03:21:22
穆帅咆哮鼓励,皇马2-1逆转塞尔塔,豪取9连胜,一夜追平领头羊

穆帅咆哮鼓励,皇马2-1逆转塞尔塔,豪取9连胜,一夜追平领头羊

侧身凌空斩
2026-11-22 06:02:14
退休人员快来看!2026 年养老金还涨不涨?三个信号已经摆到桌面

退休人员快来看!2026 年养老金还涨不涨?三个信号已经摆到桌面

社保小达人
2026-11-22 09:43:06
排坛最新消息!名将颜妮大婚,中式婚纱上镜又美又飒,恩师郎平传来喜讯

排坛最新消息!名将颜妮大婚,中式婚纱上镜又美又飒,恩师郎平传来喜讯

南海浪花
2026-11-22 15:03:19
为什么现在投资什么都亏?一场结构性通缩下的集体财富幻觉破灭

为什么现在投资什么都亏?一场结构性通缩下的集体财富幻觉破灭

A活着
2026-11-21 12:46:41
为何全球只卖中美韩三国的手机?其他国家都不生产手机吗?

为何全球只卖中美韩三国的手机?其他国家都不生产手机吗?

铭记历史呀
2026-11-21 03:26:18
金敬道还能踢球!记者苗原:他可以继续搞足球

金敬道还能踢球!记者苗原:他可以继续搞足球

建哥说体育
2026-11-22 11:11:25
“泼天富贵”啊!男子出差住酒店碰上抓奸乌龙,对方误砸其房门,最后酒店免单补偿并送香烟一包

“泼天富贵”啊!男子出差住酒店碰上抓奸乌龙,对方误砸其房门,最后酒店免单补偿并送香烟一包

火山詩话
2026-11-21 18:24:46
波切蒂诺曼联首秀缺拉什福德,髋伤未愈无缘安菲尔德

波切蒂诺曼联首秀缺拉什福德,髋伤未愈无缘安菲尔德

甜度百分百21
2026-11-22 15:24:22
比亚迪女高管:花了3年多研发出折叠方向盘,网友第一反应却是 "有啥用"!

比亚迪女高管:花了3年多研发出折叠方向盘,网友第一反应却是 "有啥用"!

元气科技馆
2026-11-21 21:47:04
医院一线医护被逼走投无路,霸权式管理闹剧何时休?

医院一线医护被逼走投无路,霸权式管理闹剧何时休?

峰哥跑交通
2026-11-21 16:39:17
一日夫妻百日恩!李亚鹏没想到,离婚13年,王菲母女竟然为他争光

一日夫妻百日恩!李亚鹏没想到,离婚13年,王菲母女竟然为他争光

枫尘余往逝
2026-11-21 12:32:42
长荣曾拒挂旗帜、订单转向日韩,合作接连遇挫,如今怎么样了?

长荣曾拒挂旗帜、订单转向日韩,合作接连遇挫,如今怎么样了?

玲儿爱唱歌
2026-11-21 06:32:49
APEC荔枝冰酒断货居然是因为没酒瓶了,厂家:有人联系愿意免费供酒瓶,若酒瓶充足,每天可生产1到2万瓶

APEC荔枝冰酒断货居然是因为没酒瓶了,厂家:有人联系愿意免费供酒瓶,若酒瓶充足,每天可生产1到2万瓶

极目新闻
2026-11-21 19:55:17
同样是打腊子口,中央红军绝境赌命,红四方面军为何轻松破关

同样是打腊子口,中央红军绝境赌命,红四方面军为何轻松破关

孙缡北漂拍客
2026-11-18 19:56:56
报复攻击克里米亚大桥,荷兰大使馆被炸!特朗普为俄导弹轰炸波兰辩解

报复攻击克里米亚大桥,荷兰大使馆被炸!特朗普为俄导弹轰炸波兰辩解

鹰眼Defence
2026-11-21 18:34:23
8投24中仍砍25分,独行侠末节发力110比100胜快船

8投24中仍砍25分,独行侠末节发力110比100胜快船

甜份超标的我
2026-11-22 15:38:30
独行侠力克快船获2连胜:弗拉格22+6+8欧文25+6 大洛21分

独行侠力克快船获2连胜:弗拉格22+6+8欧文25+6 大洛21分

醉卧浮生
2026-11-22 11:33:31
太难了!广东网友晒出公司延期发薪通知,欠薪近半年员工照常工作,哭诉外部求职难、低薪offer成常态

太难了!广东网友晒出公司延期发薪通知,欠薪近半年员工照常工作,哭诉外部求职难、低薪offer成常态

火山詩话
2026-11-22 09:59:30
老黄走了,英伟达中国 4000 人没人管,快一周了,员工都是懵的状态

老黄走了,英伟达中国 4000 人没人管,快一周了,员工都是懵的状态

起点财经
2026-11-22 13:10:41
2026-11-22 15:56:49
每日经济新闻 incentive-icons
每日经济新闻
中国主流财经全媒体平台。
1702005文章数 2729008关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

常州网红副市长蒋鹏举履新江苏理工学院校长

头条要闻

常州网红副市长蒋鹏举履新江苏理工学院校长

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

艺术
教育
房产
公开课
军事航空

艺术要闻

2026第七届民族美术作品展 油画选三

教育要闻

@北京高考生,这些多元升学通道到底有多"香”?

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版