NVIDIA揭露了RTX的张力，以提高AI应用程序性能

NVIDIA宣布发布Tensorrt for RTX，这是一种新的软件开发套件（SDK），旨在增强NVIDIA RTX GPU的AI应用程序的性能。该SDK可集成到C ++和Python应用程序中，可用于Windows和Linux平台。根据NVIDIA的官方博客的说法，该公告是在Microsoft Build Event上发表的，强调了SDK在各种工作负载（例如卷积神经网络，语音模型和扩散模型）中简化高性能AI推断的潜力。

关键特征和好处

RTX的Tensorrt定位为现有NVIDIA TENSORRT推理库的倒入替换，简化了NVIDIA RTX GPU上AI模型的部署。它在其运行时引入了一个即时（JIT）优化器，直接在用户的RTX加速PC上增强推理引擎。这项创新消除了冗长的预夸张步骤，从而提高了应用程序可移植性和运行时性能。 SDK支持轻巧的应用集成，使其适合于200 MB以下的紧凑型内存限制的环境。

SDK软件包包括对Windows和Linux的支持，C ++开发标头文件，用于快速原型制作的Python绑定，用于部署的优化器和运行时库，用于导入ONNX模型的解析器库以及简化部署和基准测试的各种开发人员工具。

高级优化技术

RTX的Tensorrt分为两个阶段进行优化：提前（AOT）优化和运行时优化。在AOT期间，改进了模型图并将其转换为可部署的引擎。在运行时，JIT Optimizer专门为已安装的RTX GPU执行发动机，从而可以快速发动机生成并提高性能。

值得注意的是，RTX的Tensorrt引入了动态形状，使开发人员能够将张量尺寸定义为运行时。此功能可以灵活地处理网络输入和输出，从而根据特定用例优化发动机性能。

增强的部署功能

SDK还具有用于存储JIT编译内核的运行时缓存，可以将其序列化以跨应用程序调用，从而减少启动时间。此外，RTX的Tensorrt支持在Nvidia Ampere，ADA和Blackwell Generation RTX GPU上运行的AOT优化引擎，而无需GPU进行构建。

此外，SDK允许创建失重发动机，并在发动机旁边运送重量时，最大程度地减少了应用程序包的尺寸。此功能以及在推断期间重新升级权重的能力，为开发人员提供了更大的灵活性，可以有效地部署AI模型。

随着这些进步，NVIDIA旨在使开发人员能够为各种消费级设备创建实时，响应式的AI应用程序，从而提高创意和游戏应用程序的生产率。

图像来源：Shutterstock