vLLM 0.32.0 重磅发布：内置系统一决策引擎，告别慢速逐字生成

大家好，我是 Ai 学习的老章

就在今天，大模型推理界的顶流项目 vLLM 正式发布了全新的 v0.32.0 版本

这次更新可以说是近期最具颠覆性的一次版本跃迁，因为它直接重构了我们日常调用大模型的底层范式：正式上线内置的 POST /v1/systemone 系统一极速决策端点，默认开启

以后做意图分类、Agent 路由、安全审核、文档打分，再也不用傻傻地等待模型慢吞吞地逐字吐 Token 了

痛点：为什么我们天天被“大炮打蚊子”折磨

大家平时在搭 Agent 工作流、做 RAG 检索增强，或者搞智能客服的时候，一定遇到过下面这些令人抓狂的场景：

用户发来一句话，你只想让模型快速做个路由：到底分流到技术支持还是账单售后？ 检索出来 5 篇参考资料，你只想让模型给每篇资料的匹配度打个 1 到 5 分 或者在内容合规检测里，你只想确认一句回答到底违规没有（Yes or No）

按照过去的做法，我们必须把长长的一段 Prompt 塞给大模型，还得小心翼翼地挂上各种 JSON Schema 或者正则约束，逼着自回归模型一字一句地往下生成

哪怕你用的是最小的模型，模型也得经历多轮前向计算、逐个 Token 预测、循环解码，最后吐出一串形如 {"team": "billing"} 的字符串

这个过程动辄耗费几百毫秒甚至上秒，显存和算力全被浪费在这些机械重复的简单决策上，一旦并发冲上来，整个系统的响应速度直接被拖垮

大家早就期盼着能有一种像人类“直觉反应”一样的推理机制，瞬时拍板，给出答案

突破：POST /v1/systemone，像直觉一样毫秒响应

诺贝尔经济学奖得主丹尼尔·卡尼曼在《思考，快与慢》中把人类思维划分为两种系统： 系统一（System 1）负责快速、直觉、本能的瞬时判断 系统二（System 2）负责深思熟虑、逻辑缜密的逐步推演

大模型经典的自回归解码机制本质上就是系统二的逻辑延伸，每一个 Token 都在推演下一步

而 vLLM v0.32.0 带来的最大惊喜，就是直接把“系统一决策”放在非常重要的未知，内置了专门的 POST /v1/systemone 端点

vLLM v0.32.0 系统一极速决策架构原理

在系统一模式下，请求只需提供一个结构化状态（State）与待决策的问题（Questions），引擎一次前向计算就能给出最终选择与精准置信度

新端点原生支持三种题型，覆盖了绝大多数控制流场景：

• choice（多选分类） ：支持在给定候选集合中二选一或多选一，同时返回各个选项的概率分布，比如判断属于 billing 的置信度是 95.5%

• noul（布尔裁决） ：专门针对 Yes / No 的真伪问题，直接返回 Yes 的判定概率，无需任何废话

• score（梯度打分） ：支持 2 到 10 个层级的有序评分，直接输出期望分值、各等级名称和概率分布，用于文档相关度评分极其舒服

更硬核的是，这一套端点不仅兼容 Qwen3 等主流自回归模型（通过单次前向只读一个标签 Token），更是直接原生集成了前几天开源界大火的 Liquid AI LiquidAI/d1-3B 决策大模型，以及 Cloudflare 的 clef-omni 与 DiffusionGemma

实测：23ms，贪吃蛇被大模型玩疯了

官方在 PR 中直接放出了一个让人目瞪口呆的实测 Demo：让 LiquidAI/d1-3B 决策模型通过 POST /v1/systemone 实时跑贪吃蛇游戏

动画实录，真实感受一下这个决策帧率：

d1-3B 通过 /v1/systemone 实测跑贪吃蛇

在测试中，贪吃蛇的每一次移动（上下左右）都是向 vLLM 发起一次真实的 HTTP 请求

在短短 15 秒的运行时间内，它完成了 666 次实时决策，平均每秒狂飙 44 次决策，单次请求中位延迟仅有 23 毫秒，整场吃了 46 个苹果只失误死亡了一次

官方还在公开的 JevBench 基准上对比了原生决策题型与常规 choice 映射的表现，数据同样非常扎实：

JevBench 评测数据：各模型在 noul 与 score 题型下的表现

这种毫秒级的响应延迟和确定性的概率输出，给高频 Agent 路由、实时内容过滤和高吞吐搜索重排打开了全新的想象空间

上手：只要一行命令，体验极速决策

上手非常简单，首先确保安装最新版的 vLLM：

pip install vllm

启动 Liquid AI 的 d1-3B 决策模型：

vllm serve LiquidAI/d1-3B

或者使用大家最熟悉的轻量模型 Qwen3：

vllm serve Qwen/Qwen3-0.6B

调用时直接请求 /v1/systemone 端点，传入结构化上下文与问题列表：

curl -s localhost:8000/v1/systemone \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-0.6B",
    "state": {"team": "billing", "language": "French"},
    "questions": {
      "team": {
        "type": "choice",
        "instructions": "Which team does the message name?",
        "criteria": {"billing": null, "shipping": null, "security": null}
      },
      "lang": {
        "type": "choice",
        "instructions": "Which language does the message name?",
        "criteria": {"English": null, "French": null}
      }
    },
    "chat_template_kwargs": {"enable_thinking": false}
  }'

返回的响应干净利落，直接给出选项与概率分布，完全省去了下游对 JSON 格式解析校验的折腾：

{
  "id": "decision-80bd0a693f255e1e",
"object": "structured_decision",
"model": "Qwen/Qwen3-0.6B",
"answers": {
    "team": {
      "type": "choice",
      "choice": "billing",
      "probabilities": {
        "billing": 0.955,
        "shipping": 0.032,
        "security": 0.013
      }
    },
    "lang": {
      "type": "choice",
      "choice": "French",
      "probabilities": {
        "French": 0.988,
        "English": 0.012
      }
    }
  }
}

除了耀眼的系统一决策端点，v0.32.0 在底层的吞吐优化上更是干货满满

1. 低精度 KV 缓存全面普及

• NVFP4 KV 缓存下放老架构 ：不再被最新的 Blackwell SM100 架构独占，现在全面向下支持 SM8x（如 A100、RTX 3090/4090）与 SM90（Hopper H100）

• GLM-5.x 默认开启 FP8 KV ：在 SM100 上直接将每张卡的 KV 显存开销砍掉一半，吞吐额外提升 2.3% 到 5.5%

• **GLM-5.3-Flash 吞吐暴增 31%**：在 SM90 架构上结合 fp8_ds_mla 选项，输出吞吐量迎来 31% 的巨大跃升

• AMD ROCm 引入 4-bit 缓存 ：ROCm 平台新增 ultraquant_4bit KV 缓存，存储密度达到 FP8 的整整两倍

以往每次开源新模型，大家都得苦等社区给 vLLM 提交专用的 tool-parser 或者 reasoning-parser

这次官方新增了 --tool-call-parser hf 和 --reasoning-parser hf 两个通用参数，直接自动提取 Hugging Face 模型权重自带的 response_template

只要模型在发布时规范配置了模板，Python 前端与 Rust 前端都能实现零代码开箱即用

3. 冷启动与并发黑科技

• 官方提供 vllm download-kernels 命令，支持一键拉取 FlashInfer 预编译内核，彻底告别服务冷启动时的 JIT 编译漫长等待

• 配合 vllm preload --preload-autotune ，让调优缓存跨重启常驻

• 引入共享内存张量竞技场（Shared-Memory Tensor Arena，默认开启），多模态的大张量跨进程分发只需复制一次

• 在开启多个 API Worker（ --api-server-count > 1 ）时，采用最少负载路由策略，短文本并发请求的吞吐量提升高达 43% 到 85%

升级 v0.32.0 之前，请大家重点核对以下关键变动，避免踩坑：

1. Python 3.10 正式被弃用 ：v0.32.0 起最低运行环境强制要求 Python 3.11，还在用 3.10 环境的同学需要先升级环境

2. CORS 跨域默认不再放行所有来源 ：出于安全加固考虑，默认不再通配 * ，对外提供网页端服务请务必显式指定 --allowed-origins

3. 依赖库版本升级 ： transformers 最低要求升级为 >= 5.16.1 ， tokenizers 最低要求升级为 >= 0.23.2

4. max_tokens 机制调整 ：现在 max_tokens 被视为输出上限而非提前硬性占用的显存配额，输入超长 Prompt 时再也不会被无脑提前拦截报错

5. 级联注意力（Cascade attention）移除 ：原有的 --disable-cascade-attn 参数已废弃并将于下一版本完全清理

vLLM v0.32.0 的发布，不仅是一次性能上的例行升级，更是将大模型推理引擎从单一的“长文本自回归生成”，拓宽到了“低延迟高频结构化决策”的崭新维度

对于苦于 Agent 路由延迟高、显存占用大的工程团队来说，/v1/systemone 端点配合轻量决策模型简直就是一场及时雨

目前代码已经全面合入主干，预编译 Wheel 包与 Docker 镜像均已同步发布，感兴趣的同学强烈推荐升级体验