马斯克掀桌子了，最强开源大模型诞生！Grok-2近万亿参数性能首曝

新智元报道

编辑：YHluck

【新智元导读】Grok-2正式开源，登上Hugging Face，9050亿参数+128k上下文有多猛？近万亿参数「巨兽」性能首曝。马斯克再现「超人」速度，AI帝国正在崛起。

什么？马斯克终于开源了Grok-2！

一大早，xAI正式官宣，向所有人开源Grok-2！

马斯克还预告，Grok-3将在6个月后开源。

Grok-2于2024年完成训练，体积超500GB。其混合专家（MoE）架构在Grok-1的基础上进行了改进。

那Grok-2到底开源了哪些部分？开源版本的技术特点是什么？开源权限有什么？

我们为你一一梳理了下，上干货：

开源了什么？

xAI本次向所有用户开源了Grok-2以下核心部分：

1. 模型权重

2. 模型架构

Grok-2开源版本技术特点

这个开源的「大脑」拥有非常强大的技术规格：

巨大的模型规模：总参数量高达9050亿（905B），在推理时，每次会激活其中的1360亿（136B）参数。这使它成为目前最强大的开源模型之一。

超长的上下文窗口：支持高达131,072 (128k) token的上下文长度。

这意味着它可以一次性阅读和处理非常长的文档或对话历史（大约相当于一本200多页的书），进行更复杂的推理和总结。

混合专家架构 (MoE)：这种架构可以在不增加巨大计算成本的前提下，大幅扩展模型规模，提升模型能力。

较新的训练数据：其预训练数据覆盖了大量的文本和代码，截止到2024年初。

Grok-2和Grok-1架构不同点，网友对此做了一个总结：

开源权限是什么？

商业用途门槛：仅当关联公司年收入低于一百万美元时，才可用于商业用途。超过此门槛的商业用途需获得xAI的单独许可。

限制：除非本协议条款允许对Grok 2进行修改或微调，否则不得使用材料、衍生品或输出（包括生成的数据）来训练、创建或改进任何基础、大型语言或通用人工智能模型。

目前，Grok-2现已正式开源，可在Hugging Face上下载。

HF地址：https://huggingface.co/xai-org/grok-2

使用方法：通过SGLang部署

下载权重文件

你可以把/local/grok-2替换成任意你喜欢的文件夹名称。

hf download xai-org/grok-2 --local-dir /local/grok-2

下载过程中你可能会遇到一些错误，请多次重试直到下载成功。

如果下载成功，该文件夹下应包含42个文件，总大小大约为500GB。

启动服务器

安装最新版的SGLang推理引擎（版本≥v0.5.1），地址：

https://github.com/sgl-project/sglang/

使用以下命令启动推理服务器。这个检查点（checkpoint）配置为 TP=8，所以需要8张GPU（每张显存大于40GB）。

python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton

发送请求

这是一个经过额外训练的模型，所以需要使用正确的对话模板。

python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>\n\nAssistant:"

你应该能看到模型输出名字——Grok。

大佬点评

网友XFreeze称，xAI发展的速度极其惊人！

他透露，xAI位于孟菲斯的巨像数据中心仅用122天建成并全面投入运营，配备100,000块英伟达H100 GPU。

「短短两年内，xAI凭借Grok 4的发布，以极其精简的团队登顶全球最强人工智能之巅。」他感叹道。

黄仁勋曾称，这是「超人」之举，只有马斯克能做到！

在人工智能发展进程上，有网友毫不吝啬地赞美马斯克和xAI：他们正以光速推动AI的进步。

他还预告，Grok 5训练即将开始。

有网友感叹道，92天内将容量翻倍，这不是资本分配带来的结果，而是一种绕过传统使用一种新的运营策略带来的。

有网友表示，这一切，就像在实时观看一个科幻梦想成真——真正达到了创新的巅峰！

Grok 4发布会上，马斯克曾预告了下一步路线图——

8月将发布编码模型，9月发布多模态智能体，10月发布视频生成模型。

xAI模型能飞速迭代，主要背靠了强大的超算中心。预计5年内，xAI将打造出5000块H100巨无霸超算。

老马自信满满地表示，「xAI很快就能干掉谷歌以外的所有对手，就连谷歌，超过它也是迟早的事」。

真是有点期待，下一个AI帝国诞生了。

参考资料：

https://x.com/jefffhj/status/1959360923929575803

https://huggingface.co/xai-org/grok-2

https://x.com/amXFreeze/status/1959158372231487627