使用 NVIDIA NIM 和 Google Kubernetes Engine 增强 AI 推理

人工智能 (AI) 模型的快速发展推动了对更高效、可扩展的推理解决方案的需求。据 NVIDIA 技术博客称，为此，NVIDIA 已与 Google Cloud 合作，在 Google Kubernetes Engine (GKE) 上提供 NVIDIA NIM，旨在通过 Google Cloud Marketplace 加速 AI 推理并简化部署。

NVIDIA NIM 和 GKE 集成

NVIDIA NIM 是 NVIDIA AI Enterprise 软件平台的一个组件，旨在促进安全可靠的 AI 模型推理。与 GKE（一项托管 Kubernetes 服务）的集成现已在 Google Cloud Marketplace 上推出，允许在 Google Cloud 基础设施上可扩展地部署容器化应用程序。

NVIDIA 和 Google Cloud 之间的合作为旨在增强 AI 能力的企业带来了诸多好处。该集成通过一键式功能简化了部署，支持广泛的 AI 模型，并通过 NVIDIA Triton 推理服务器和 TensorRT 等技术确保高性能推理。此外，组织还可以利用 Google Cloud 上的 NVIDIA GPU 实例（例如 NVIDIA H100 和 A100）来满足不同的性能和成本要求。

在 GKE 上部署 NVIDIA NIM 的步骤

在 GKE 上部署 NVIDIA NIM 涉及多个步骤，首先是通过 Google Cloud 控制台访问该平台。用户可以启动部署、配置平台设置、选择 GPU 实例并选择所需的 AI 模型。部署过程通常需要 15-20 分钟，之后用户可以连接到 GKE 集群并开始运行推理请求。

该平台还支持与现有人工智能应用程序无缝集成，利用标准 API 最大限度地减少重新开发需求。企业可以利用平台的可扩展性功能处理不同级别的需求，从而相应地优化资源使用。

GKE 上 NVIDIA NIM 的优势

GKE 上的 NVIDIA NIM 为寻求加速 AI 推理的企业提供了强大的解决方案。主要优点包括易于部署、灵活的模型支持和高效的性能，并由加速计算选项提供支持。该平台还提供企业级安全性、可靠性和可扩展性，确保人工智能工作负载受到保护并满足动态需求水平。

此外，Google Cloud Marketplace 上 NVIDIA NIM 的可用性简化了采购，使组织能够根据需要快速访问和部署该平台。

结论

通过将 NVIDIA NIM 与 GKE 集成，NVIDIA 和 Google Cloud 为企业提供了推动 AI 创新所需的工具和基础设施。此次合作增强了人工智能功能，简化了部署流程，并支持大规模高性能人工智能推理，帮助组织提供有影响力的人工智能解决方案。

图片来源：Shutterstock