OpenAI开源了，本地部署失败，线上实测，很水！

大家好，我是 Ai 学习的老章

OpenAI 扭扭捏捏的终于开源了

放出了 gpt-oss 系列大模型，一共两个：

• gpt-oss-120b—— 适用于生产环境、通用目的和高推理需求的场景，可以在单个 单 80GB GPU 比如 H100 GPU 上运行（117B 参数，其中 5.1B 激活参数）

• gpt-oss-20b—— 适用于低延迟和本地或特定用途的场景（21B 参数，其中 3.6B 激活参数），推理性能接近 OpenAI o4 - mini；gpt - oss - 20b 能在 16GB 内存的边缘设备运行

亮点：

• 随便用：免费开源，商业用途也 OK，不怕侵权

• 算力自由：想快就快，想省就省，3 档可调

• 透明思考：模型怎么想的全能看，方便 debug

• 私人定制：支持微调，专属 AI 助手

• 全能选手：能上网、写代码、调工具、格式化输出

• 省钱神器：大模型单卡 H100 就能跑，小模型 16G 内存就够

官方测评数据，看起来很好。例如在竞争数学和健康相关查询任务中，gpt - oss - 120b 超越 o3 - mini 甚至在部分指标上优于 o4 - mini，gpt - oss - 20b 也在一些任务中超过 o3 - mini。

OpenAI 官方提供了在线试用：https://gpt-oss.com/

简单试了，特别水！

提示词：创建一个带有基于画布的动画粒子背景的 HTML 页面。粒子应平滑移动并在靠近时连接。在画布上方添加居中的标题文本

120B 跑出来稍微好那么一丢丢，但也很水

对比之前我测试，差的不是一星半点

MiniMax

Gemini Diffusion

gpt-oss-20b 本地部署

有一点不得不夸，OpenAI 文档水平很高

Ollama

Ollama 用户比较省事，尤其是它刚刚更新了 app，我有过介绍：

# gpt-oss-20b  ollama pull gpt-oss:20b  ollama run gpt-oss:20b

我测试环境用的 vLLM

#下载模型 pip install modelscope modelscope download --model openai-mirror/gpt-oss-20b #安装vLLM https://cookbook.openai.com/articles/gpt-oss/run-vllm uv pip install --pre vllm==0.10.1+gptoss \     --extra-index-url https://wheels.vllm.ai/gpt-oss/ \     --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \     --index-strategy unsafe-best-matchunsafe-best-match  # 运行模型 vllm server . --server-model-name GPT-OSS-20B --port 3002 

但是遭遇了很多人都遇到的问题

ImportError: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.32' not found (required by /mnt/vllm-env/lib/python3.10/site-packages/vllm/_C.so)

直接升级 GLIBC 风险极高，不建议折腾，目前没有看到更好的解决方法，据说降级 torch 和一众依赖可行，没看到成功的，或许只有升级系统了

话说大模型开源世界可能真就只有中国能打了

让我想起一个帖子