NVIDIA 在日本和台湾推出用于生成式 AI 的 NIM 微服务

据 NVIDIA 博客报道，NVIDIA 宣布在日本和台湾推出用于生成式 AI 应用的 NIM 微服务。新的微服务旨在支持根据区域需求开发高性能生成式 AI 应用。

支持区域人工智能发展

这些微服务的推出旨在帮助开发人员构建和部署对当地语言和文化细微差别敏感的生成式人工智能应用程序。这些微服务支持流行的社区模型，通过改进基于区域语言和文化遗产的理解和响应来增强用户互动。

根据 ABI Research 的数据，在亚太地区，生成式 AI 软件收入预计将从 2024 年的 50 亿美元增至 2030 年的 480 亿美元。NVIDIA 的新微服务预计将通过提供先进的 AI 开发工具在这一增长中发挥重要作用。

区域语言模型

新产品包括 Llama-3-Swallow-70B 和 Llama-3-Taiwan-70B 模型，分别使用日语和普通话数据进行训练。这些模型旨在帮助人们更深入地了解当地法律、法规和习俗。基于 Mistral-7B 构建的 RakutenAI 7B 系列模型使用英语和日语数据集进行训练，可作为聊天和指导功能的 NIM 微服务使用。

这些模型在开放的日语大型语言模型中取得了领先的分数，在 2024 年 1 月至 3 月进行的 LM Evaluation Harness 基准测试中获得最高平均分数就是明证。

全球和当地影响

包括新加坡、阿拉伯联合酋长国在内的世界各国， 韩国、瑞典、法国、意大利和印度正在投资自主 AI 基础设施。NVIDIA 的 NIM 微服务允许企业、政府机构和大学在自己的环境中托管原生大型语言模型 (LLM)，从而促进高级 AI 应用程序的开发。

例如，东京工业大学利用日语数据对 Llama-3-Swallow 70B 模型进行了微调。日本人工智能公司 Preferred Networks 正在利用该模型开发一款针对日本医疗数据进行训练的医疗保健专用人工智能，并在日本国家医师考试中取得最高分。

在台湾，长庚纪念医院正在构建定制的 AI 推理服务，以将 LLM 应用程序集中在医院系统内，并使用 Llama-3-Taiwan 70B 模型来改善医疗通信。台湾电子制造商和硕正在将该模型用于内部和外部应用，并将其与其 PEGAAi Agentic AI 系统集成，以提高制造和运营效率。

使用 Sovereign AI NIM 微服务开发应用程序

开发人员可以将这些独立 AI 模型（打包为 NIM 微服务）部署到生产中，同时提高性能。NVIDIA AI Enterprise 提供的微服务针对 NVIDIA TensorRT-LLM 开源库的推理进行了优化，可提供高达 5 倍的吞吐量，并降低在生产中运行模型的总成本。

新的 NIM 微服务现已作为托管应用程序编程接口 (API) 提供。

利用 NVIDIA NIM 实现更快、更准确的生成式 AI 结果

NIM 微服务可加速部署、提高整体性能，并为全球各个行业的组织（包括医疗保健、金融、制造、教育和法律部门）提供必要的安全性。

东京工业大学全球科学信息与计算中心的教授 Rio Yokota 表示：“法学硕士并不是为每个人提供同样好处的机械工具。它们更像是与人类文化和创造力互动的智力工具。影响是相互的，不仅模型会受到我们训练的数据的影响，而且我们的文化和我们生成的数据也会受到法学硕士的影响。”

使用 NVIDIA AI Foundry 创建自定义企业模型

NVIDIA AI Foundry 提供的平台和服务包括热门的基础模型、用于微调的 NVIDIA NeMo 以及 NVIDIA DGX Cloud 上的专用容量。这为开发人员提供了全栈解决方案，用于创建打包为 NIM 微服务的定制基础模型。

使用 NVIDIA AI Foundry 的开发人员可以访问 NVIDIA AI Enterprise 软件平台，该平台提供安全性、稳定性和生产部署支持。这使开发人员能够更快、更轻松地构建和部署自定义的区域语言 NIM 微服务，确保为用户提供文化和语言上合适的结果。

图片来源：Shutterstock