1200亿参数塞进单卡，英伟达把智能体吞吐量拉高5倍

英伟达发布了一款开放多模态模型，名字叫 Nemotron 3.5 Super VL。它瞄准的不是聊天，而是需要持续运行、执行多步骤任务的 AI 智能体。

最直观的一组数字：总参数量1200 亿，激活参数120 亿，采用混合专家架构。英伟达称，在单张 GPU 上跑智能体任务，它的吞吐量最高能达到同规模其他开放模型的5 倍。

一个模型，把五种能力装在一起

过去做智能体，常见做法是拼装：一个模型负责推理，一个负责看图，再外挂工具调用。Nemotron 3.5 Super VL 的思路是把这些能力整合进同一个模型——推理、指令遵循、工具调用，加上文本、图像、文档和视频理解。

能落地的场景也随之铺开：代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别、视频内容检索。开发者可以用英伟达的 NeMo 工具链，结合自有数据、工具、政策和工作流程做后训练，按业务需求调整模型行为。

企业定制案例里的成本账

英伟达同时公布了几组企业定制案例，数字都指向同一件事——推理开销在降。

• AI 数据技术提供商 Scale AI 为媒体娱乐公司 Skydance Corporation 定制了供应商信用处理智能体，相关工作负载的推理成本预计降低97.5%，延迟降低80%
• 金融运营平台 Ramp 正把收据图像转成包含商户、日期和支付信息的结构化 JSON 数据，预计吞吐量最高提升50%，延迟降低90%
• AI21 与 AI 安全公司 Alice 合作定制模型，用于威胁情报和漏洞分析，相关任务准确率提升40%

评测分数与推理优化

评测方面，英伟达称 Nemotron 3.5 Super VL 在 CharXiv 图表推理基准测试中得分80.8%，高于 Nemotron 3 Nano Omni 的 63%；结合 Python 代码解释后，得分达到84%。在 Hermes Bench 和 LangChain 行为评估中，它分别取得63.44%和87.05%，高于 Nemotron 3 Ultra 的 56.33% 和 84.3%。英伟达还表示，该模型在 OCRBench v2 榜单上属于表现靠前的开放模型之一。

为了压低推理开销，模型用了投机解码、混合精度和上下文复用等技术。英伟达介绍，其 LiLiCorr 投机解码方法在 DGX Spark 上可将词元生成速度最高提升至2.3 倍。模型支持 NVFP4 量化，在 Blackwell 架构上使用 4 位权重和 4 位激活值；在非 Blackwell 平台上，同一检查点使用 4 位权重和 16 位激活值。

分布式推理也有部署优化方案。按其披露的数据，在使用 16 张 NVIDIA B200 GPU、每名用户每秒生成 50 个词元的测试条件下，NVIDIA Dynamo 配合缓存感知路由、会话亲和性和 KV 缓存卸载，最多可服务8 倍数量的用户，并将首词元延迟降低85%。

端侧也没放过：74B 压到 24GB

除 Super VL 外，英伟达还推出两款 Nemotron 3.5 Bolt 端侧模型。其中 Nemotron 3.5 Bolt 74B-A9B 24GB 采用 740 亿总参数、90 亿激活参数的 MoE 架构，通过原生 2 位量化把模型压缩至24GB，面向本地智能体任务，支持 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio。

另一款 Nemotron 3.5 Bolt E4B 4GB 面向本地语音助手、交互角色和嵌入式界面等场景，计划于10 月 23 日推出。

此次发布还包括基础模型、后训练模型和 NVFP4 量化模型权重，以及训练配方、数据集和强化学习环境。英伟达表示，该模型在预训练和持续预训练阶段共使用约26 万亿词元，后训练阶段使用约380 万个样本，并在数十种环境中进行强化学习。新开放的数据集涵盖智能体工具调用、金融推理、指令遵循、长上下文、公平性和视觉语言理解等领域。

目前，Nemotron 3.5 Super VL 和 Bolt 74B-A9B 24GB 已开放获取，开发者可通过 Hugging Face、OpenRouter、ModelScope 等渠道使用。Super VL 可部署于 DGX Spark、DGX Station、RTX 系统、数据中心或云端。