北京
一个总参数约106B的模型，推理时真正干活的只有约12B。这是GLM-4.5-Air的混合专家（MoE）结构给出的数字，也是它能在自有GPU服务器上跑起来的前提。
在专用硬件上运行大模型，意味着对服务环境、模型配置和API访问拥有完全控制权。下面这套流程，目标是把来自Z.ai的GLM-4.5-Air-FP8部署到一台英伟达GPU服务器上，用SGLang把服务跑起来，并对外暴露一个兼容OpenAI的API。
先看清模型和硬件
GLM-4.5-Air是为推理、编程和智能体任务打造的MoE模型，总参数约106B，推理阶段激活约12B。部署使用的是FP8检查点，路径为zai-org/GLM-4.5-Air-FP8。
Z.ai为这个FP8版本列出了对应的英伟达配置参考。功能完整的运行条件还包括：系统内存超过1TB、批大小不超过8、不做CPU卸载。这些数字是参考值，不是放之四海皆准的最低门槛。
从系统到SGLang，一步步来
先在Ubuntu上更新系统并装好基础工具，用ubuntu-drivers检测并安装显卡驱动，重启后用nvidia-smi确认GPU状态，再用nvidia-smi -L和nvidia-smi topo -m查看设备列表与拓扑。
接着装SGLang。用uv创建Python 3.12虚拟环境，在环境中安装允许预发布版本的sglang。模型权重体积不小，建议把Hugging Face缓存指向一个大容量目录，通过HF_HOME环境变量固定下来。
启动服务用一条命令即可：指定模型路径、服务名glm-4.5-air-fp8、监听地址127.0.0.1和端口30000。绑定回环地址的作用很直接——让API不暴露在公网接口上。
验证与加固
服务起来后，先请求/v1/models确认模型列表。再用OpenAI客户端连本地端口，把api_key填成任意本地开发值，发一条对话请求测试，比如让它解释GPU内存在大模型推理中的作用，max_tokens设为300。
长期运行交给systemd，进程挂掉会自动重启。需要远程访问时，走带认证的HTTPS反向代理，配合防火墙规则和私有网络。一条底线不能破：未认证的推理端点，永远不要直接暴露到互联网。
完整教程还包含systemd单元文件全文、监控建议和一张故障排查表。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
