丽贝卡·莫恩（Rebeca Moen）
3月19日，2025年05:15
NVIDIA引入了DGX Cloud基准测试，以优化AI工作负载性能，重点是基础架构，软件框架和应用程序增强功能。
随着人工智能（AI）的不断发展，AI工作负载的性能受到基础硬件和软件基础架构选择的严重影响。根据NVIDIA的博客文章的报道，NVIDIA推出了DGX Cloud Benchmarking，这是一套工具，旨在通过评估各种平台的培训和推理来优化AI工作负载性能。该计划旨在为除了原始指标或GPU成本等传统指标以外的总拥有成本（TCO）和绩效提供全面的了解。
人工智能表现的主要考虑因素
对于希望优化AI工作负载的组织，需要考虑一些因素。这些包括实施的正确性，最佳群集大小以及可以加快推销时间的软件框架的选择。传统的芯片级指标通常不足，从而导致投资未充分利用，而错过了效率提高的机会。 DGX Cloud基准测试旨在通过提供对现实世界，端到端AI工作负载性能的见解来填补这一空白。
DGX云基准测试的组件
DGX云基准测试套件评估了AI工作负载的各个方面：
- GPU计数： 扩展GPU的数量可以大大减少训练时间。例如，训练骆驼3 70B可以从115.4天到3.8天加速，成本提高最低。
- 精确： 使用FP8精度可以增强吞吐量和成本效益，尽管它引入了必须管理的挑战，例如数值不稳定。
- 框架： AI框架的选择会影响训练速度和成本。例如，NVIDIA的NEMO框架已通过连续优化显示出显着的性能改进。
协作和未来的发展
DGX云基准测试旨在随着AI行业的发展，结合了新的模型，硬件平台和软件优化。早期采用者包括主要的云提供商，例如AWS，Google Cloud，Microsoft Azure等。这种演变可确保用户可以访问以快速技术进步为特征的行业至关重要的最新绩效见解。
有关更详细的见解并探索DGX云基准测试，请访问NVIDIA网站。
图像来源：Shutterstock
（tagstotranslate）AI（T）加密（T）区块链（T）新闻
关键词：
