网易首页 > 网易号 > 正文 申请入驻

挖人2亿美元起,扎克伯格还要碾压“星际之门” | 笔记

0
分享至

2亿美元起价挖人,个别还出过上10亿美元,百倍于行业水平,扎克伯格出手把硅谷搅翻了天。

他不仅要打造一支,而且要走别人的路,让别人无路可走:如果最好的AI企业是OpenAI,那就让OpenAI成为骨干人才流失的重灾区;如果中国出了个最好的开源模型DeepSeek,那就挖一批说普通话的。

扎克伯格这次要彻底推倒重来。Meta从Llama1到3,一直高举开源模型的大旗,但是,年初被DeepSeek一举超越,之后推出的Llama4 贻笑硅谷,旗舰模型Behemoth甚至不敢见人。Meta大模型已经落后于对手整整一代。

扎克伯格深知,还必须采取比马斯克在孟菲斯打造超级算力集群更快更狠的做法,才能赢得这场超级智能的“笼中角斗”。

电力:Meta已经不把本地电网放到眼里了,而是在俄亥俄的数据中心直接建了两个200MW的天然气发电厂,15台涡轮机发电,15台往复式发动机(备用电源)。

算力:为了让数据中心尽快上线,Meta直接搭起类似帐篷的轻结构,在里面堆起成千上万的G200/300GPU。不是为了美观,也不是为了省钱,只是为了更快。Meta在俄亥俄州打造的世界上最大的算力集群名叫普罗米修斯(Prometheus)。位于路易斯安那州建数据中心集群,预计将在 2027 年底成为全球最大的独立园区,第一阶段的 IT 电力将超过 1.5 GW。该数据中心内部名为 Hyperion。

数据:300亿美元直接收购AI数据处理独角兽公司Scale AI股权的49%,因为数据质量决定模型上限。

人才:除了开出高于足球巨星级别的“转会费”,Meta超级智能实验实(MSL)每位研究人员拥有无与伦比的算力,用来构建最佳开源模型家族,并有机会接触超过 20 亿的日活跃用户。这次挖来的每位研究人员,包括现金、签约奖金、股票,4年累积可达2亿美元起。据说Meta还出价超过十亿美元,要挖OpenAI的研究/工程的高层,目前还没有成功。

扎克伯格不仅要在人力上打击OpenAI,还要在算力上压倒OpenAI,Meta即将上线的1.5GW的超级集群,规模已经超过了“星际之门”在德州阿比林1.2GW的集群。

Semianalysis认为,Meta从统治开源AI,直到最近开始处于下风,被OpenAI、Anthropic、DeepSeek和xAI甩到身后,因为它采取了“渐进主义”的做法,即它的AI主要是为了服务其业务,如内容推荐、广告服务、内部效率工具等等,它能为现有的业务带来增长,只能带来财务收获,但是,Meta还缺乏对超级智能的真正追求,尤其是在人才和算力基础设施方面,短板越来越明显,与其他巨头相比,可能有错失AI的风险。

不过,做为一家上市企业,扎克伯格也需要经常向股东和投资者交待他在AI上砸钱,对业务和财务带来哪些回报。

据Semianalysis分析,在训练Llama4的过程中,Meta也犯下了一些技术错误:

1,分块注意力:

Behemoth 在实现分块注意力以追求效率时,产生了盲点,尤其是块与块之间出现了割裂。这影响了模型在思维链(chain of thought)超出单个块长度时发展推理能力。模型在长程推理上表现不佳。虽然事后看起来似乎显而易见,但Meta 当时甚至没有建立起合适的长上下文评估和测试基础设施,来判断分块注意力是否适合用来开发推理模型。

2,专家选择路由

在运行过程中, Meta 从专家选择切换到token选择路由, 这导致专家无法很好地专业化。

3,预训练数据质量

在 Llama 4 Behemoth 之前,Meta 一直在使用公共数据(例如 Common Crawl),但中途切换到了自己构建的内部网络爬虫。虽然这通常效果更佳,但也带来了一些问题。团队在清理和删除新数据流时遇到了困难。这些流程尚未经过大规模压力测试。

此外,与OpenAI和Deepseek等不同,Meta不使用YouTube数据,里面的讲座记录和其他视频是宝贵的数据来源,如果没有这些数据,Meta可能很难构建多模态模型。

4,扩展策略和协调

Llama 4 团队把研究实验扩展为完整的训练,运行中遇到了困难。研究方向之间存在竞争,缺乏领导力来决定哪条路径是最效的。有些模型架构的选择甚至没有经过适当的消融实验,就直接被塞进了模型里,导致扩展的梯度管理混乱。Meta如此重要的一次大规模的预训练运行,缺乏严谨性和充分准备。

上述几点暴露了Meta在人才方面的短板,才让扎克伯格痛下决心,采取了极端重赏的措施。

One More Thing

扎克伯格这次赶上了特朗普的“大漂亮法案”的好处。人工智能企业在研发和设备方面采购的费用,可以用来税收抵免。所以,扎克伯格算得很精:买得越多,省得越多!

参考文章:

https://semianalysis.com/2025/07/11/meta-superintelligence-leadership-compute-talent-and-data/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美军公布伤亡情况!伊朗向美航母发射4枚导弹,美军:导弹甚至没有接近航母,已击沉一艘伊朗船只;朝鲜强烈谴责美以“流氓行径”

美军公布伤亡情况!伊朗向美航母发射4枚导弹,美军:导弹甚至没有接近航母,已击沉一艘伊朗船只;朝鲜强烈谴责美以“流氓行径”

每日经济新闻
2026-03-02 00:23:54
退钱了!今天开始,个税汇算清缴首日网友晒退税额,有人凌晨退了3万多,有人需补缴

退钱了!今天开始,个税汇算清缴首日网友晒退税额,有人凌晨退了3万多,有人需补缴

每日经济新闻
2026-03-01 13:54:35
你知道中国最大的资金外流通道是什么吗?

你知道中国最大的资金外流通道是什么吗?

流苏晚晴
2026-02-02 18:08:27
以色列遭袭致20余人死亡,伊朗开启圣战或清空导弹库

以色列遭袭致20余人死亡,伊朗开启圣战或清空导弹库

倔强旳牵强
2026-03-01 23:45:41
53岁李冰冰在巴黎杀疯了!白到发光隐现腹肌,这状态真不是人类?

53岁李冰冰在巴黎杀疯了!白到发光隐现腹肌,这状态真不是人类?

草莓解说体育
2026-02-06 05:59:56
大快人心!俄S-400王牌指挥官被击毙,克里米亚防空网彻底破防

大快人心!俄S-400王牌指挥官被击毙,克里米亚防空网彻底破防

老马拉车莫少装
2026-02-27 23:57:03
从斩首计划,到擒贼先擒王,美以似乎在重新改写现代战争的打法

从斩首计划,到擒贼先擒王,美以似乎在重新改写现代战争的打法

历史摆渡
2026-01-05 17:20:03
我们的网友给内塔尼亚胡起了一个外号

我们的网友给内塔尼亚胡起了一个外号

清晖有墨
2025-09-08 17:18:01
再年轻也没用!22岁健身博主胡洪盛去世,死因曝光,曾减重90斤

再年轻也没用!22岁健身博主胡洪盛去世,死因曝光,曾减重90斤

青梅侃史啊
2026-02-27 23:44:02
被震撼到了!哈梅内伊一死普京马上下令,俄罗斯全体高层紧急到场

被震撼到了!哈梅内伊一死普京马上下令,俄罗斯全体高层紧急到场

诺诺谈史
2026-03-01 20:29:12
出大事了,又一个中国伙伴倒向美?撕毁合同,把矛头对准了中国

出大事了,又一个中国伙伴倒向美?撕毁合同,把矛头对准了中国

趣文说娱
2025-12-18 18:12:14
退休后你会到乡下养老吗?网友:乡下没这么吓人

退休后你会到乡下养老吗?网友:乡下没这么吓人

带你感受人间冷暖
2026-02-23 00:49:19
2胜3平,曼联2026年5场落后的英超比赛都保持不败

2胜3平,曼联2026年5场落后的英超比赛都保持不败

懂球帝
2026-03-02 00:44:15
大兵压境伊朗之际,特朗普怒斥……

大兵压境伊朗之际,特朗普怒斥……

新民周刊
2026-03-01 09:12:53
倾家荡产移居美国,得绝症回国蹭医保,工作人员:外籍人员不报销

倾家荡产移居美国,得绝症回国蹭医保,工作人员:外籍人员不报销

凉了时光人
2026-02-28 17:43:57
女子试鞋未买被骂“买不起别试”,品牌方回应更气人,网友怒了!

女子试鞋未买被骂“买不起别试”,品牌方回应更气人,网友怒了!

川渝视觉
2026-02-28 17:07:44
曼联帅位尘埃落定:索斯盖特退出的背后,卡里克获全队力挺欲转正

曼联帅位尘埃落定:索斯盖特退出的背后,卡里克获全队力挺欲转正

星耀国际足坛
2026-03-02 00:25:03
造车新势力2月交付承压:零跑跌至3万辆以下,多家车企加码促销

造车新势力2月交付承压:零跑跌至3万辆以下,多家车企加码促销

澎湃新闻
2026-03-01 22:10:31
快讯!外媒:美军中央司令部称,3名美军军人在对伊朗打击行动中死亡,5人受重伤

快讯!外媒:美军中央司令部称,3名美军军人在对伊朗打击行动中死亡,5人受重伤

环球网资讯
2026-03-01 23:15:27
以军称首次打击伊朗首都中心地带目标

以军称首次打击伊朗首都中心地带目标

新华社
2026-03-01 16:42:04
2026-03-02 01:31:00
未尽研究 incentive-icons
未尽研究
新能源、人工智能、合成生物、地缘X
317文章数 62关注度
往期回顾 全部

科技要闻

荣耀发布机器人手机、折叠屏、人形机器人

头条要闻

媒体:美以能精准"斩首"背后 摩萨德的"手笔"令人咋舌

头条要闻

媒体:美以能精准"斩首"背后 摩萨德的"手笔"令人咋舌

体育要闻

火箭输给热火:乌度卡又输斯波教练

娱乐要闻

黄景瑜 李雪健坐镇!38集犯罪大剧来袭

财经要闻

中东局势升级 如何影响A股、黄金和原油

汽车要闻

理想汽车2月交付26421辆 历史累计交付超159万辆

态度原创

数码
教育
亲子
房产
军事航空

数码要闻

荣耀Magic V6海外发布:厚度仅8.75mm三年内第四次打破纪录

教育要闻

11年,学生平均增高5.52厘米!成都这所小学,登上教育部发布会

亲子要闻

金龟子女儿流产后,为儿子举办2岁生日宴,三个卡通可爱的蛋糕

房产要闻

滨江九小也来了!集齐海侨北+哈罗、寰岛...江东教育要炸了!

军事要闻

伊朗前总统内贾德遇袭身亡

无障碍浏览 进入关怀版