王王
9月9日,2025年17:20
NVIDIA的Blackwell Ultra Architecture在MLPERF推理v5.1方面取得了突破性的发展,以创新的设计和技术为新的性能基准设定了新的性能基准。
NVIDIA的最新创新,Blackwell Ultra Architecture,在MLPERF推断V5.1基准测试中创造了前所未有的记录,突出了其在AI推理任务中的出色性能。根据NVIDIA的说法,由Blackwell Ultra Architecture提供动力的GB300 NVL72机架规模系统优于先前的系统,它与其前任GB200 NVL72相比,交付的DeepSeek-R1推理吞吐量高达1.4倍。
创新的建筑进步
Blackwell Ultra Architecture建立在原始的Blackwell设计的成功基础上,并结合了重大的增强功能。它具有1.5倍的NVFP4 AI计算并加倍加速度,每个GPU的HBM3E内存高达288GB。这些进步使NVIDIA能够在MLPERF推断V5.1 Suite的所有新数据中心基准中创建新的性能记录,包括DeepSeek-R1,Llama 3.1 405B Interactive,Llama 3.1 8b和Whisper。
全栈共同设计和优化
Blackwell Ultra体系结构的显着性能归因于NVIDIA的全栈共同设计方法,其中包括NVFP4数据格式的硬件加速度。与其他FP4格式相比,这种4位浮点格式具有较高的精度,并且与更高精确的格式相当。 Nvidia的Tensorrt模型优化器在优化诸如DeepSeek-R1和Llama 3.1之类的模型中发挥了至关重要的作用,在保持准确性的同时提高了性能。
记录制定的性能技术
NVIDIA的创新分类服务技术将上下文和发电任务分开,在实现Llama 3.1 405B Interactive基准的创纪录性能方面至关重要。与传统的服务方法相比,GB200 NVL72系统的每次GPU的性能提高了近50%。
行业合作和市场影响
NVIDIA在AI推理中的成就得到了与云服务提供商和服务器制造商(包括Azure,Broadcom,Cisco和Dell Technologies)的合作的支持。这些合作伙伴关系确保了NVIDIA AI平台的尖端性能可供广泛的组织访问,从而为AI应用程序提供较低的总拥有成本(TCO)和提高投资回报率。
要深入了解NVIDIA的技术进步,请访问NVIDIA技术博客,以获取有关MLPERF推断V5.1和Blackwell Ultra Architecture的更多见解。
图像来源:Shutterstock
(tagstotranslate)AI(T)加密(T)区块链(T)新闻
关键词: