1.05万亿参数模型开放下载，单卡却跑不动

一个总参数约1.05万亿的旗舰模型，权重文件直接挂在Hugging Face上，不用申请、不用审批，任何账号都能拉。但真把它拖回本地，第一道坎不是许可证，是硬盘——官方FP8检查点约1,061 GB。

这就是Mistral Large 4的开放权重版本，内部代号「Le Chonk」。2026年10月29日上线Hugging Face，提供FP8与NVFP4两种检查点，社区还做了GGUF量化版。它是个多模态混合专家模型：每处理一个token，激活约49B参数（算上嵌入层和输出层是52B），另带一个1.6B的视觉编码器，上下文窗口100万token。模型卡写明72个文本层、128个路由专家，每个token选4个专家外加1个共享专家。

下载本身没有门槛，两个官方仓库都标记为不设访问限制。真正的成本在运行侧：官方给出的所有部署示例，都默认一台8 GPU节点、张量并行度8。想省事就走API，模型ID是mistral-large-4，每百万输入token收费0.70美元，缓存输入0.07美元，输出2.10美元。

从10月6日的预览版到现在，有几处变化值得注意，尤其是第一处会直接让旧代码出问题：

• 推理参数改了。预览集成里如果传的是reasoning_effort: "none"，现在要换成"low"。按Hugging Face发布说明，Transformers会把none当作high执行，旧配置不会报错，只会默默烧token。
• 权重不是预览版的冻结副本。权重公开前，模型又做了3周额外强化学习，重点在编程和网络安全。
• 所有基准数字均为厂商自报。Mistral声称在Cognition的非公开基准FrontierCode 2.0上拿到19.7%（其图表中开放权重最高分），在Artificial Analysis Coding Agent Index上为48%，与GLM-5.3大致相当。截至11月2日，独立复现仍待完成。

自托管有三条路可走，选哪条取决于你手上有多少硬件。最轻的是调API，不需要GPU；中间一档是托管服务商，Mistral点名了OpenRouter、NVIDIA托管的端点和NIM容器，以及Azure上的Microsoft Foundry私有部署；最重的是自己下载权重，用vLLM、SGLang、Transformers或llama.cpp来服务。

官方推荐vLLM，并提供了专用Docker镜像。启动命令里有两个解析器参数不能省：--tool-call-parser mistral和--reasoning-parser mistral。少写一个，思考文本会混进content字段，工具调用会以纯文本形式返回。想要更快的解码，可以加DSpark投机解码器，在8张H200上实测单请求约65 token/秒，负载下1000条ShareGPT对话合计约480 token/秒。SGLang的配置类似，用--tp-size 8和--speculative-algorithm DSPARK。

如果手上只有一台Mac，llama.cpp是唯一被记录在案的单机方案。Q2_K量化版381 GB，能塞进一台512 GB统一内存的Apple Silicon Ultra。按Hugging Face的数据，M3 Ultra上预填充约90 token/秒、生成15 token/秒——做私有实验够用，跑智能体循环就偏慢，而且2比特量化的质量会下降，得先在自己的任务上试。

采样参数方面，Mistral建议所有推理档位都用temperature=1.0、top_p=0.95。vLLM和SGLang都暴露OpenAI兼容接口，请求体和普通聊天补全一样，只是把model换成mistral-large-4、加上Bearer密钥发到api.mistral.ai即可。

自托管模型有个讨厌的特性：它失败得很安静。解析器参数漏了，推理内容悄悄漏进正文，工具调用变成一段纯文本，接口照样返回200。与其手动贴curl，不如让编码智能体用Apidog CLI把两条路由都测一遍：建两个环境，一个指向localhost:8000，一个指向api.mistral.ai，发一个reasoning_effort为"low"的工具调用请求，断言状态码200、choices[0].message里有tool_calls数组、content里不含思考文本，然后对比两边差异。同一行apidog run命令也能塞进CI，防止某次vLLM升级带着坏掉的工具调用上线。

许可证是MIT加一个条件。你可以商业或非商业地运行、部署、微调、修改模型及其衍生品，只要保留版权和许可声明。但如果把它当作「模型即服务」对外提供——也就是让第三方获得对模型或其衍生品做推理或后训练的能力——就需要向Mistral单独申请商业许可。内部使用、把模型嵌进产品功能、单纯转发请求给他人托管的模型，都不受这条限制。内部编码助手没问题，转卖原始推理能力要签合同。

该自托管还是调API？量不大、想用满100万上下文又不想调服务器限制、或者手上根本没有8 GPU节点，就走API。按每百万输入0.70美元、输出2.10美元算，每月1亿输入token加2000万输出token，在算缓存折扣之前是112美元。数据不能出网、要拥有自己的微调、或者有稳定负载让节点持续跑满，才值得自托管——Hugging Face给出了在8张B300节点上用TRL做LoRA训练的示例，Mistral的Forge服务则是用自己数据做调优的托管选项。

最后一个容易踩的认知坑：这是开放权重，不是OSI意义上的开源。权重能免费下载，成本在运行侧；单GPU的官方配方一个都没有，文档里最小的配置就是那台512 GB统一内存的Mac加381 GB的Q2_K量化版。