NVIDIA Blackwell 将 MLPerf v4.1 的性能提高一倍，彻底改变了 AI 训练

NVIDIA 的最新创新 Blackwell 平台将 MLPerf Training v4.1 中的大型语言模型 (LLM) 训练基准性能提高了一倍，标志着人工智能 (AI) 训练的一个重要里程碑。 NVIDIA 表示，这一成就突显了 NVIDIA 对在数据中心规模提升 AI 功能的承诺。

Blackwell 平台推出

Blackwell平台在GTC 2024上推出，现已全面量产，集成了GPU、CPU、DPU等七种芯片，单GPU性能大幅飞跃。该平台旨在通过创建更大的人工智能集群来支持下一代法学硕士的开发。

MLPerf 训练的性能提升

在最新的 MLPerf Training 基准测试中，NVIDIA 的 Blackwell 平台在所有测试中均优于其前身 Hopper。显着的改进包括 GPT-3 预训练性能提高 2 倍，Llama 2 70B 低秩适应 (LoRA) 微调性能提高 2.2 倍。提交测试的系统配备了 8 个 Blackwell GPU，每个 GPU 的热设计功率 (TDP) 均为 1,000W。

技术改进

Blackwell 架构受益于硬件和软件的增强。这包括优化的通用矩阵乘法 (GEMM)、更好的计算和通信重叠以及改进的内存带宽利用率。这些进步可以更有效地执行 AI 工作负载，并表明 NVIDIA 致力于共同设计硬件和软件以实现最佳性能。

对 LLM 培训的影响

MLPerf 训练套件的 LLM 预训练基准基于 GPT-3 模型，突出了 Blackwell 的功能，与 Hopper 相比，每个 GPU 的性能提高了一倍。此外，Blackwell 增强的高带宽内存允许使用更少的 GPU 进行高效训练，进一步展示了其效率。

前景

展望未来，NVIDIA 计划利用 GB200 NVL72 系统获得更大的性能提升。该系统预计将具有更强的计算能力、扩展的 NVLink 域和更高的内存带宽，进一步突破人工智能训练能力的界限。

总之，NVIDIA Blackwell 平台代表了 AI 训练技术的重大进步，与之前的架构相比，性能有了显着提升。随着 NVIDIA 不断创新，AI 模型的功能预计将不断增强，从而实现更复杂、功能更强大的系统。

图片来源：Shutterstock