NVIDIA 推出 DriveOS LLM SDK 助力自动驾驶车辆创新
realtime news Mar 11, 2025 02:42
NVIDIA 引入了 DriveOS LLM SDK，以促进大型语言模型在自动驾驶车辆中的部署，增强人工智能驱动应用的性能优化。
NVIDIA 推出了其最新创新产品 DriveOS LLM SDK，旨在简化大型语言模型（LLM）在自动驾驶车辆中的部署。根据
优化 LLM 部署
DriveOS LLM SDK 专为优化 NVIDIA DRIVE AGX 平台上最先进的 LLM 和视觉语言模型（VLM）的推理而设计。基于强大的 NVIDIA TensorRT 推理引擎，SDK 融合了 LLM 专用优化，包括定制注意力内核和量化技术，以满足资源受限的汽车平台的需求。
关键特性和组件
SDK 的关键组件包括用于专业性能的插件库、高效的分词/去分词器以无缝集成多模态输入，以及用于优化文本生成和对话任务的 CUDA 基采样器。解码模块进一步增强了推理过程，使得在各种 NVIDIA DRIVE 平台上实现灵活、高性能的 LLM 部署成为可能。
支持的模型和精度格式
SDK 支持的尖端模型包括 Llama 3 和 Qwen2，精度格式包括 FP16、FP8、NVFP4 和 INT4，以减少内存使用并提升内核性能。这些功能对于在汽车应用中高效部署 LLM 变得尤为重要，因为延迟和效率至关重要。
简化的工作流
NVIDIA 的 DriveOS LLM SDK 将复杂的 LLM 部署过程简化为两个简单步骤：导出 ONNX 模型和构建引擎。这个简化的工作流旨在促进边缘设备上的部署，使其对更广泛的开发人员和应用变得更容易访问。
多模态功能
SDK 还解决了汽车应用中对多模态输入的需求，支持如 Qwen2 VL 等模型。它包括一个用于图像预处理的 C++ 实现，将视觉输入与语言模型对齐，从而拓宽了自动系统中 AI 能力的范围。
结论
通过利用 NVIDIA TensorRT 引擎和 LLM 专用优化技术，DriveOS LLM SDK 为在 DRIVE 平台上部署先进的 LLM 和 VLM 树立了新的标准。这一举措有望提高自动驾驶车辆中人工智能驱动应用的性能和效率，标志着汽车行业技术进化的重要里程碑。
Image source: Shutterstock