OpenAI 开源模型泄露：六大技术细节

OpenAI 可能即将发布的开源大模型的详细技术细节来了，以下是根据泄露信息整理

模型架构：1200亿参数的混合专家模型（MoE）

据爆料，OpenAI 可能会发布两款模型：

一款 1200亿（120B）参数的混合专家（MoE）模型：其在推理时仅激活约 50-60亿（5B/6B）参数。这意味着它能在保持巨大知识容量的同时，实现极高的推理效率，大幅降低运行成本

一款 200亿（20B）参数的稠密模型：作为更小巧、更易于部署的版本

目前来看，这两款模型将专注于文本处理，暂时不涉及多模态能力

训练技术：或采用 Float4 与 英伟达最新Blackwell 芯片

为了极致的效率，模型可能采用了 Float4进行训练或量化。这是一种非常激进的量化方案，可以极大地压缩模型体积并提升运算速度

据推测，这可能是借助英伟达最新发布的 Blackwell 架构 GPU 完成的，因为该系列芯片原生支持 Float4 运算。另一种可能性是，模型在训练后通过 训练后量化（PTQ） 技术压缩到了 Float4

激活函数：带范围限制的 SwiGLU

为了配合 Float4 量化，模型可能采用了 SwiGLU 激活函数，并对其输出范围进行了 裁剪，限制在 -7 到 7 之间

这类似于经典的 ReLU6 函数，其目的是为了消除激活值中的极端异常值，确保数值分布更稳定，从而降低量化过程中带来的精度损失。这对于 Float4 这种低精度格式至关重要

上下文窗口：通过 YaRN 技术扩展至 128K

模型将拥有128K 的超长上下文窗口，但它并非从头开始训练的。据推测，该模型的基础上下文窗口为 4K，之后在训练中途采用 YaRN等技术将其无缝扩展至 128K

注意力机制：滑动窗口注意力（SWA）与注意力汇聚（Attention Sinks）

为了高效处理 128K 的长文本，模型采用了两大关键技术：

滑动窗口注意力（SWA）：窗口大小为 128。这意味着在计算注意力时，每个词元（token）只需关注其邻近的 128 个词元，从而将计算复杂度从二次方降低到线性级别

注意力汇聚（Attention Sinks）：为了解决 SWA 会遗忘早期重要信息的问题，模型引入了注意力汇聚技术。该技术强制模型始终关注最开始的几个（例如 4 或 8 个）关键 token，确保模型在处理长序列时不会失忆。NVIDIA 的 TensorRT-LLM 也已支持此功能

底层架构：融合 Llama/Mixtral 特点并使用偏置项

模型的基础架构很可能借鉴了 Llama 和 Mixtral 等成功的开源模型。关键特征包括：

合并的 QKV 矩阵：将注意力机制中的查询（Q）、键（K）、值（V）矩阵合并，以优化计算效率

广泛使用偏置项（Biases）：与一些模型（如 Llama）去掉偏置项的做法不同，该模型似乎在所有模块（包括 MLP、注意力层甚至 MoE 的路由层）都保留了偏置项，这可能有助于提升模型的拟合能力

（信息来源：基于 @apples_jimmy、@secemp9 及 EleutherAI Discord 社区的讨论整理）