AWS 扩展 NVIDIA NIM 微服务以增强 AI 推理

Amazon Web Services (AWS) 宣布扩大与 NVIDIA 的合作，将 NVIDIA NIM 微服务集成到其关键 AI 服务中。据 NVIDIA 称，这一举措是在 AWS re:Invent 大会上透露的，旨在加速人工智能推理并减少生成式人工智能应用程序的延迟。

使用 NVIDIA NIM 增强 AI 推理

现在可以通过 AWS Marketplace、Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 轻松访问 NVIDIA NIM 微服务。此可用性简化了针对流行模型的 NVIDIA 优化推理的大规模部署。 NIM 微服务是 NVIDIA AI Enterprise 软件平台的一部分，可在不同环境中提供安全、高性能的 AI 模型推理部署。

这些预构建容器利用先进的推理引擎，例如 NVIDIA Triton Inference Server 和 NVIDIA TensorRT，支持各种 AI 模型。开发人员可以跨各种 AWS 平台（包括 Amazon EC2 和 Amazon EKS）利用这些服务，从而增强模型部署灵活性和性能。

广泛的支持型号

开发人员可以探索 100 多个 NIM 微服务，其中包括来自 NVIDIA、Meta 的 Llama 3 和 Mistral AI 等的模型。这些服务针对通过 AWS 部署在 NVIDIA 加速计算实例上进行了优化，为 AI 模型推理提供了强大的解决方案。

值得注意的是，NVIDIA Nemotron-4 和 Llama 3.1 模型现在可直接从 AWS 获取，分别提供数据合成和多语言对话的高级功能。这些模型旨在增强各个领域的人工智能应用程序性能和可靠性。

行业采用和用例

各行业越来越多地在 AWS 上采用 NIM，以加快市场进入、确保安全并降低生成式 AI 应用程序的成本。例如，IT 咨询公司 SoftServe 使用 NVIDIA NIM 开发了多种 AI 解决方案，现已在 AWS Marketplace 上提供。其中包括药物发现、工业援助和内容创建的应用程序，所有这些应用程序都利用 NVIDIA AI 蓝图来加速开发和部署。

AWS 上的 NIM 入门

对部署 NVIDIA NIM 微服务感兴趣的开发人员可以从探索 NVIDIA API 目录开始，其中提供了大量 NIM 优化的模型。他们可以请求 NVIDIA AI Enterprise 的开发人员许可证或试用许可证，以开始跨 AWS 平台部署这些微服务。这一举措突显了 AWS 和 NVIDIA 致力于推进 AI 技术并促进开发人员无缝集成的承诺。

图片来源：Shutterstock