The news is by your side.

NVIDIA揭示了RTX的Tensorrt:在Windows 11上增强了AI推断

5


劳伦斯·詹格(Lawrence Jengar)
2025年5月19日13:04

NVIDIA推出了RTX的Tensorrt,这是Windows 11的优化AI推理库,增强了跨创造力,游戏和生产力应用程序的AI体验。




NVIDIA透露了RTX的Tensorrt,RTX是一个新的AI推理库,旨在提高Windows 11的性能。根据NVIDIA的博客,该开发旨在通过为开发人员提供通过标准化的API进行优化的ACCELERATION,从而提高AI的AI体验。

RTX的张力:关键功能

RTX的Tensorrt建立在NVIDIA Tensorrt推论库的成功基础上,为NVIDIA RTX GPU提供了显着的性能改善。它支持各种量化类型,包括FP4,这使下一代AI模型适合消费者GPU。该库轻量级,低于200 MB,并与Microsoft的AI推理框架Windows ML无缝集成。

优化的性能

与基线DirectML相比,该图书馆的性能提升超过50%,如GEFORCE RTX 5090所示。它还支持NVIDIA TENSOR内核的FP4和FP8计算的天然加速度,从而解除了AI工作负载的较高吞吐量。

简化开发人员的经验

RTX的Tensorrt采用了即时(JIT)汇编,在几秒钟内优化RTX GPU的神经网络。在应用程序安装期间发生的此过程支持了包括CNN,音频,扩散和变压器模型在内的一系列模型。该库的有效汇编过程旨在增强PC AI用例的开发人员工作流程。

更广泛的含义和可用性

引入RTX的Tensorrt与Microsoft的Build Conference一致,该会议在Windows ML Public Preview中可用。 NVIDIA的开发人员门户网站将于6月提供独立版本。图书馆有望减少构建时间并提高运行时性能,并在Windows平台上的AI推理功能中向前迈进。

开发人员可以在Microsoft Build会议期间进一步探索RTX功能的紧张局面,NVIDIA将演示如何在RTX PC上体验AI。

图像来源:Shutterstock


(tagstotranslate)AI(T)加密(T)区块链(T)新闻



关键词: