NVIDIA 推出 Mistral-NeMo-Minitron 8B：高精度紧凑型语言模型

生成式 AI 的开发人员通常需要在模型大小和准确度之间做出权衡。然而，NVIDIA 发布的全新语言模型兼具了两者的优点，以紧凑的外形提供一流的准确度。

Mistral-NeMo-Minitron 8B 是 Mistral AI 和 NVIDIA 上个月发布的开放 Mistral NeMo 12B 模型的微型版本，体积足够小，可以在搭载 NVIDIA RTX 的工作站上运行，同时在 AI 聊天机器人、虚拟助手、内容生成器和教育工具的多个基准测试中仍表现出色。Minitron 模型由 NVIDIA 使用 NVIDIA NeMo（一个用于开发自定义生成 AI 的端到端平台）提炼而成。

NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 表示：“我们结合了两种不同的 AI 优化方法——通过修剪将 Mistral NeMo 的 120 亿个参数缩减为 80 亿个参数，并通过蒸馏提高准确率。通过这种方式，Mistral-NeMo-Minitron 8B 以更低的计算成本实现了与原始模型相当的准确率。”

与大型语言模型不同，小型语言模型可以在工作站和笔记本电脑上实时运行。这使得资源有限的组织可以更轻松地在其基础设施中部署生成式 AI 功能，同时优化成本、运营效率和能源使用。在边缘设备上本地运行语言模型还可以带来安全优势，因为数据不需要从边缘设备传递到服务器。

开发人员可以开始使用 Mistral-NeMo-Minitron 8B，它被封装为具有标准应用程序编程接口的 NVIDIA NIM 微服务（API) — 或者他们可以从 Hugging Face 下载模型。可下载的 NVIDIA NIM 即将推出，只需几分钟即可在任何 GPU 加速系统上部署。

80 亿个参数的最新成果

对于同等规模的模型，Mistral-NeMo-Minitron 8B 在九项流行的语言模型基准测试中名列前茅。这些基准测试涵盖了各种任务，包括语言理解、常识推理、数学推理、总结、编码以及生成真实答案的能力。

该模型被打包为 NVIDIA NIM 微服务，针对低延迟进行了优化，这意味着用户响应更快，并且吞吐量更高，这对应于生产中更高的计算效率。

在某些情况下，开发人员可能希望在智能手机或机器人等嵌入式设备上运行更小的模型版本。为此，他们可以下载 80 亿参数模型，并使用 NVIDIA AI Foundry 将其精简并提炼为针对企业特定应用定制的更小、优化的神经网络。

AI Foundry 平台和服务为开发人员提供了全栈解决方案，用于创建打包为 NIM 微服务的定制基础模型。它包括流行的基础模型、NVIDIA NeMo 平台和 NVIDIA DGX Cloud 上的专用容量。使用 NVIDIA AI Foundry 的开发人员还可以访问 NVIDIA AI Enterprise，这是一个为生产部署提供安全性、稳定性和支持的软件平台。

由于原始的 Mistral-NeMo-Minitron 8B 模型以最先进的精度基线为起点，使用 AI Foundry 缩小的版本仍然可以使用一小部分训练数据和计算基础设施为用户提供高精度。

利用修剪和蒸馏的好处

为了使用较小的模型实现较高的准确率，该团队采用了一种结合了修剪和提炼的过程。修剪通过删除对准确率贡献最小的模型权重来缩小神经网络的大小。在提炼过程中，该团队在一个小的数据集上重新训练了这个修剪后的模型，以显著提高准确率，而准确率在修剪过程中有所下降。

最终结果是更小、更高效的模型，且具有与更大模型相当的预测精度。

这种技术意味着只需要原始数据集的一小部分来训练相关模型系列中的每个附加模型，与从头开始训练较小的模型相比，在修剪和提炼较大的模型时最多可节省 40 倍的计算成本。

NVIDIA 本周还宣布推出 Nemotron-Mini-4B-Instruct，这是另一种小型语言模型，针对 NVIDIA GeForce RTX AI PC 和笔记本电脑的低内存使用率和更快的响应时间进行了优化。该模型可作为 NVIDIA NIM 微服务用于云和设备上部署，是 NVIDIA ACE 的一部分，NVIDIA ACE 是一套数字人类技术，可提供由生成式 AI 驱动的语音、智能和动画。

通过浏览器或 ai.nvidia.com 上的 API 体验这两种模型作为 NIM 微服务。

图片来源：Shutterstock