NVIDIA 推出 Llama 3.1-Nemotron-70B-Reward，以增强 AI 与人类偏好的一致性

NVIDIA 推出了突破性的奖励模型 Llama 3.1-Nemotron-70B-Reward，旨在增强大语言模型 (LLM) 与人类偏好的一致性。据 NVIDIA 技术博客称，这一开发是 NVIDIA 利用人类反馈强化学习 (RLHF) 来改进 AI 系统的努力的一部分。

人工智能对齐的进步

从人类反馈中进行强化学习对于开发能够模仿人类价值观和偏好的人工智能系统至关重要。该技术允许 ChatGPT、Claude 和 Nemotron 等高级法学硕士生成更准确地反映用户期望的响应。通过纳入人类反馈，这些模型表现出改进的决策能力和细致入微的行为，从而增强了对人工智能应用程序的信任。

Llama 3.1-Nemotron-70B-奖励模型

Llama 3.1-Nemotron-70B-Reward 模型在 Hugging Face RewardBench 排行榜上名列前茅，该排行榜评估了奖励模型的功能、安全性和缺陷。该模型在整体 RewardBench 上得分高达 94.1%，表现出识别符合人类偏好的响应的强大能力。

该模型在四个类别上表现出色：聊天、聊天困难、安全性和推理，特别是在安全性和推理方面分别实现了 95.1% 和 98.1% 的准确率。这些结果强调了该模型安全拒绝不安全响应的能力及其在数学和编码等领域的潜在支持。

实施与效率

NVIDIA 对该模型进行了优化，以实现高计算效率，其尺寸仅为 Nemotron-4 340B Reward 的五分之一，同时保持卓越的精度。该模型的训练利用了 CC-BY-4.0 许可的 HelpSteer2 数据，使其适合企业用例。训练过程结合了两种流行的方法，确保了高数据质量并提高了人工智能能力。

部署和可访问性

Nemotron Reward 模型作为 NVIDIA NIM 推理微服务提供，有助于跨各种基础设施（包括云、数据中心和工作站）轻松部署。 NVIDIA NIM 采用推理优化引擎和行业标准 API 来提供可根据需求扩展的高吞吐量 AI 推理。

用户可以直接从浏览器探索 Llama 3.1-Nemotron-70B-Reward 模型，或利用 NVIDIA 托管的 API 进行大规模测试和概念验证开发。该模型可以在 Hugging Face 等平台上下载，为开发人员提供了多种集成选项。

图片来源：Shutterstock