英伟达携手Mistral AI取得重大突破：开源模型家族性能效率跨越式提升

当地时间12月2日，英伟达（NVDA.US）官宣与法国人工智能（AI）初创公司Mistral AI合作取得的重大突破。通过采用英伟达的最新芯片技术，Mistral AI开源模型家族的新成员在性能、效率和部署灵活性上实现跨越式提升。

当日，Mistral AI发布了Mistral 3系列开源多语言、多模态模型，这一系列模型不仅拥有从3B到675B的参数规模，还首次推出了基于稀疏架构的混合专家模型Mistral Large，展现出Mistral AI在技术创新方面的无穷潜力。

英伟达表示，该系列模型针对英伟达超级计算和边缘平台进行了优化。合作成果的核心是，Mistral Large 3这一大型模型在英伟达GB200 NVL72系统上实现了相比前代H200芯片10倍的性能提升。这种性能飞跃转化为更好的用户体验、更低的单次响应成本以及更高的能源效率。该模型在每兆瓦（MW）能耗下可实现每秒超过500万个token的处理速度。

据介绍，Mistral Large 3是一种专家混合（Mixture-of-Experts，MoE）模型，Mistral Large 3拥有410亿个活跃参数、6750亿个总参数以及256K的上下文窗口，提供了企业AI工作负载所需的可扩展性、效率和适应性。Mistral AI表示，该模型是利用3000块英伟达H200 GPU从零开始训练而成的，已成为全球最顶尖的开放权重模型之一。经过训练后，Mistral Large在通用提示方面的表现已与市场上最佳的指令微调开放权重模型相媲美，同时在多语言对话和图像理解等领域也展现了行业领先的性能。

英伟达称，通过结合英伟达GB200 NVL72系统与Mistral AI的MoE架构，企业能够高效部署和扩展大规模AI模型，充分利用先进的并行计算和硬件优化。这一合作标志着迈向“Mistral AI所称的‘分布式智能’时代”的重要一步，缩小了研究突破与实际应用之间的差距。

此外，英伟达表示，为实现从云端到边缘的高效推理，英伟达针对Mistral 3模型系列优化了推理框架，包括NVIDIA TensorRT-LLM、SGLang和vLLM。Mistral 3现已在主流开源平台和云服务商处可用，预计不久后将作为英伟达NIM微服务进行部署。无论AI应用走向何方，这些模型均已准备就绪。