NVIDIA 推出增强性能的 Jetson Orin Nano 开发者套件
realtime news Dec 17, 2024 15:07
NVIDIA 的 Jetson Orin Nano 开发者套件获得重大升级，为生成式 AI 应用提供高达 1.7 倍的性能提升，并以更低的价格提供。
NVIDIA 宣布对其 Jetson Orin Nano 开发者套件进行重大升级，现更名为 Jetson Orin Nano Super 开发者套件。此更新旨在提高生成式 AI 应用的性能，为开发者提供坚实的工具以部署先进的模型。据 NVIDIA 表示，新套件提供高达 1.7 倍的性能提升，且价格降低至 249 美元。
主要升级与功能
Jetson Orin Nano Super 开发者套件在其前身基础上进行了多项增强，包括稀疏 TOPS 从 40 增加到 67，内存带宽从 65 GB/s 增加到 102 GB/s。CPU 时钟速度也从 1.5 GHz 提升到 1.7 GHz。这些改进通过新的电源模式得以实现，该模式提升了 GPU、CPU 和内存的性能。
开发者可通过简单的软件更新将现有的 Jetson Orin Nano 开发者套件升级为新版本的 Super。此升级使得套件能够处理各种大型语言模型（LLM）、视觉语言模型（VLM）和视觉转换器（ViT），包括那些拥有高达 80 亿参数的模型。
增强的 AI 模型性能
Jetson Orin Nano Super 开发者套件支持一系列机器学习框架，如 HuggingFace Transformers 和 NVIDIA TensorRT-LLM，使其成为在云、边缘和 PC 环境中部署可扩展解决方案的理想选择。套件的新功能使其能够运行新兴的基于 Transformer 的模型，提供高达 70% 的生成式 AI 性能提升。
基准测试显示，热门 LLM 和 VLM 的性能显著提升，像 Llama 3.1 8B 和 Qwen2.5 7B 的模型分别显示出 1.37 倍和 1.53 倍的改善。ViT 也从升级中受益，例如 clip-vit-base-patch32 的性能提升达 1.60 倍。
应用与用例
Jetson Orin Nano Super 开发者套件的增强使其非常适合从机器人到多模态代理的各种应用。NVIDIA 的 Jetson AI Lab 为开发者探索这些可能性提供了平台，提供关于生成式 AI 项目的教程和预建容器。
与 Hugging Face 合作，NVIDIA 加速了 LeRobot 平台上的机器人研究，该平台运行在 Jetson Orin Nano Super 开发者套件上。开发者还可以利用开源界面如 Open WebUI，使用该套件创建生成式 AI 聊天机器人。
未来展望
除了 Jetson Orin Nano 系列，NVIDIA 也在提高 Jetson Orin NX 系列的性能。两个系列现在都提供增强的计算能力，这对于在边缘设备上运行生成式 AI 模型至关重要。NVIDIA 将 Jetson Orin 的生命周期延长至 2032 年，为这些强大平台提供长期支持。
凭借这些进步，NVIDIA 继续为生成式 AI 和边缘计算的创新开辟道路，为开发者提供所需工具以应对现实世界的挑战。
Image source: Shutterstock