亚马逊云科技上的 NVIDIA NIM 大幅增强 AI 推理能力

经过优化的 NIM 微服务现可在 Amazon Bedrock Marketplace、SageMaker JumpStart 和 AWS Marketplace 上获取，用于各种 NVIDIA 和生态系统模型。

生成式 AI 正在迅速改变各行各业，同时推动了对安全、高性能推理解决方案的需求，以便高效且经济地扩展日益复杂的模型。

在本届亚马逊云科技 re:Invent 大会上，亚马逊云科技（AWS）宣布其正在扩大与 NVIDIA 的合作范围，现已将 NVIDIA NIM 微服务扩展到各项关键的亚马逊云科技 AI 服务中，从而帮助生成式 AI 应用提高 AI 推理速度并降低延迟。

NVIDIA NIM 微服务现在可直接通过 AWS Marketplace、Amazon Bedrock Marketplace 以及 Amazon SageMaker JumpStart 获取，让开发者能够更加轻松地为常用模型大规模部署经过 NVIDIA 优化的推理。

NVIDIA NIM 是 NVIDIA AI Enterprise 软件平台的一部分，可在 AWS Marketplace 获取。它为开发者提供的一套易于使用的微服务，专为在各种云、数据中心和工作站安全、可靠地部署高性能、企业级 AI 模型推理而设计。

这些预构建的容器基于强大的推理引擎（例如 NVIDIA Triton 推理服务器、NVIDIA TensorRT、NVIDIA TensorRT-LLM 和 PyTorch）构建而成，支持从开源社区模型到 NVIDIA AI Foundation 模型与定制模型等各种 AI 模型。

NIM 微服务可部署到各种亚马逊云科技服务中，包括 Amazon Elastic Compute Cloud（EC2）、Amazon Elastic Kubernetes Service（EKS）和 Amazon SageMaker。

开发者可以在 NVIDIA API 目录中预览常用模型和系列模型构建的 100 多项 NIM 微服务，包括 Meta 的 Llama 3、Mistral AI 的 Mistral 和 Mixtral、NVIDIA Nemotron、Stability AI 的 SDXL 等等。其中最常用的微服务可以自托管的形式部署于亚马逊云科技服务中，并且针对在亚马逊云科技中的 NVIDIA 加速计算实例运行进行了优化。

目前可直接从亚马逊云科技获取的 NIM 微服务包括：

• NVIDIA Nemotron-4：可在 Amazon Bedrock Marketplace、Amazon SageMaker Jumpstart 和 AWS Marketplace 中获取。这是一款先进的 LLM ，其专为生成与现实世界数据高度相似的各种合成数据而设计，从而提高各领域定制 LLM 的性能和稳健性。

• Llama 3.1 8B-Instruct：可在 AWS Marketplace 中获取。这个 80 亿参数的多语种大语言模型经过预训练和指令调整，适用于语言理解、推理和文本生成用例。

• Llama 3.1 70B-Instruct：可在 AWS Marketplace 中获取。这个经过指令调整的 700 亿参数预训练模型针对多语种对话进行了优化。

• Mixtral 8x7B Instruct v0.1：可在 AWS Marketplace 中获取。这个具有开放权重的高质量稀疏混合专家模型可以遵循指令、完成请求并生成创意文本格式。

亚马逊云科技上的 NIM 适用于所有人

各行各业的客户和合作伙伴都在通过亚马逊云科技上的 NIM 来更快地进入市场、维护其生成式 AI 应用和数据的安全性与可控性，并降低成本。

IT 咨询和数字服务提供商 SoftServe 开发了 6 款生成式 AI 解决方案，完全部署在亚马逊云科技上，并通过 NVIDIA NIM 和亚马逊云科技服务加速。这 6 款解决方案在 AWS Marketplace 中提供，分别为 SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator 和 Speech Recognition Platform。

这些解决方案均基于 NVIDIA AI Blueprint。NVIDIA AI Blueprint 是加速 AI 应用开发和部署的综合参考工作流，并具有 NVIDIA 加速程序库、软件开发套件和 NIM 微服务，适用于 AI 智能体、数字孪生等。

即刻使用亚马逊云科技上的 NIM

开发者可以根据自己的需求和要求在亚马逊云科技上部署 NVIDIA NIM 微服务。这样一来，开发者和企业就可以在各种亚马逊云科技服务中使用经过 NVIDIA 优化的推理容器，以实现高性能 AI。

访问 NVIDIA API 目录，查看 100 多种经过 NIM 优化的模型，并申请开发者许可证或 NVIDIA AI Enterprise 90 天试用许可证，就可以开始在亚马逊云科技服务上部署 NVIDIA 微服务。开发者还可以在 AWS Marketplace、Amazon Bedrock Marketplace 或 Amazon SageMaker JumpStart 中探索 NIM 微服务。

参见有关软件产品信息的通知：

https://www.nvidia.cn/about-nvidia/terms-of-service/