NVIDIA启动Driveos LLM SDK用于自动驾驶汽车创新

NVIDIA推出了其最新的创新，Driveos LLM SDK，旨在简化自动驾驶汽车中大型语言模型（LLM）的部署。 Nvidia表示，这种发展代表着增强AI驱动汽车系统能力的重大飞跃。

优化LLM部署

Driveos LLM SDK精心设计，以优化NVIDIA驱动器AGX平台上最先进的LLM和视觉语言模型（VLM）的推断。 SDK建立在强大的NVIDIA Tensorrt推理引擎的基础上，结合了LLM特异性优化，包括自定义注意力内核和量化技术，以满足资源受限的汽车平台的需求。

关键功能和组件

SDK的关键组件包括用于专业性能的插件库，用于多模式输入的无缝集成的高效令牌/污染剂，以及用于优化文本生成和对话任务的基于CUDA的采样器。解码器模块进一步增强了推理过程，从而在各种NVIDIA驱动器平台上实现了灵活的高性能LLM部署。

支持的模型和精确格式

SDK支持一系列尖端模型，例如Llama 3和QWEN2，其精确格式在内，包括FP16，FP8，NVFP4和INT4，以减少内存使用情况并增强内核性能。这些功能对于在延迟和效率至关重要的汽车应用中有效地部署LLM至关重要。

简化的工作流程

NVIDIA的DRIVEOS LLM SDK将复杂的LLM部署过程简化为两个直接的步骤：导出ONNX型号并构建发动机。这种简化的工作流程旨在促进在边缘设备上的部署，使其可用于更广泛的开发人员和应用程序。

多模式功能

SDK还满足了对汽车应用程序中多模式输入的需求，支持QWEN2 VL等模型。它包括用于图像预处理的C ++实现，将视觉输入与语言模型保持一致，从而扩大了自主系统中AI功能的范围。

结论

通过利用NVIDIA Tensorrt引擎和LLM特定优化技术，Driveos LLM SDK为在驱动器平台上部署高级LLM和VLMS设置了新标准。该计划有望提高自动驾驶汽车中AI驱动的应用的性能和效率，这标志着汽车行业的技术发展是一个重要的里程碑。

图像来源：Shutterstock