NVIDIA 推出增强性能的 Jetson Orin Nano 开发者套件

realtime news  Dec 17, 2024 23:07  UTC 15:07

1 Min Read

NVIDIA 宣布对其 Jetson Orin Nano 开发者套件进行重大升级,现更名为 Jetson Orin Nano Super 开发者套件。此更新旨在提高生成式 AI 应用的性能,为开发者提供坚实的工具以部署先进的模型。据 NVIDIA 表示,新套件提供高达 1.7 倍的性能提升,且价格降低至 249 美元。

主要升级与功能

Jetson Orin Nano Super 开发者套件在其前身基础上进行了多项增强,包括稀疏 TOPS 从 40 增加到 67,内存带宽从 65 GB/s 增加到 102 GB/s。CPU 时钟速度也从 1.5 GHz 提升到 1.7 GHz。这些改进通过新的电源模式得以实现,该模式提升了 GPU、CPU 和内存的性能。

开发者可通过简单的软件更新将现有的 Jetson Orin Nano 开发者套件升级为新版本的 Super。此升级使得套件能够处理各种大型语言模型(LLM)、视觉语言模型(VLM)和视觉转换器(ViT),包括那些拥有高达 80 亿参数的模型。

增强的 AI 模型性能

Jetson Orin Nano Super 开发者套件支持一系列机器学习框架,如 HuggingFace Transformers 和 NVIDIA TensorRT-LLM,使其成为在云、边缘和 PC 环境中部署可扩展解决方案的理想选择。套件的新功能使其能够运行新兴的基于 Transformer 的模型,提供高达 70% 的生成式 AI 性能提升。

基准测试显示,热门 LLM 和 VLM 的性能显著提升,像 Llama 3.1 8B 和 Qwen2.5 7B 的模型分别显示出 1.37 倍和 1.53 倍的改善。ViT 也从升级中受益,例如 clip-vit-base-patch32 的性能提升达 1.60 倍。

应用与用例

Jetson Orin Nano Super 开发者套件的增强使其非常适合从机器人到多模态代理的各种应用。NVIDIA 的 Jetson AI Lab 为开发者探索这些可能性提供了平台,提供关于生成式 AI 项目的教程和预建容器。

与 Hugging Face 合作,NVIDIA 加速了 LeRobot 平台上的机器人研究,该平台运行在 Jetson Orin Nano Super 开发者套件上。开发者还可以利用开源界面如 Open WebUI,使用该套件创建生成式 AI 聊天机器人。

未来展望

除了 Jetson Orin Nano 系列,NVIDIA 也在提高 Jetson Orin NX 系列的性能。两个系列现在都提供增强的计算能力,这对于在边缘设备上运行生成式 AI 模型至关重要。NVIDIA 将 Jetson Orin 的生命周期延长至 2032 年,为这些强大平台提供长期支持。

凭借这些进步,NVIDIA 继续为生成式 AI 和边缘计算的创新开辟道路,为开发者提供所需工具以应对现实世界的挑战。



Read More