NVIDIA 推出 NIM 微服务以增强数字环境中的生成性 AI
realtime news Jul 30, 2024 07:42
NVIDIA 在 SIGGRAPH 上发布了新的 NIM 微服务和 Metropolis 参考工作流程，以推动各行业生成性物理 AI 的发展。
NVIDIA 宣布在生成性物理 AI 方面取得重大进展，在 SIGGRAPH 上推出了新的 NIM 微服务和 NVIDIA Metropolis 参考工作流程。据 NVIDIA 博客称，这些创新旨在改善物理机器的训练，并提高其处理复杂任务的能力。
物理环境中的生成性 AI
生成性 AI 技术已经广泛应用于写作和学习方面，现在也准备好协助导航物理世界。NVIDIA 的新产品包括支持 3D 世界深度学习框架的三种 fVDB NIM 微服务以及用于通用场景描述（USD）的几种 USD NIM 微服务，也称为 OpenUSD。
新开发的 OpenUSD NIM 微服务与生成性 AI 模型协同工作，使开发人员能够将生成性 AI 共同处理和代理集成到 USD 工作流程中，从而扩展 3D 环境的功能。
NVIDIA NIM 微服务变革物理 AI 领域
物理 AI 运用先进的模拟和学习方法，帮助机器人和其他自动化系统更有效地感知、推理和导航其周围环境。这项技术正在通过发展智能空间和增强机器人、工厂技术、手术 AI 代理以及自动驾驶汽车的功能来彻底改变制造和医疗等行业。
NVIDIA 提供了适用于特定模型和行业应用的 NIM 微服务套件，支持语音和翻译、视觉和智能、现实动画和行为等功能。
将视觉 AI 代理变为先驱
视觉 AI 代理利用计算机视觉功能，旨在感知和与物理世界互动。这些代理由视觉语言模型（VLMs）驱动，这是一类新的生成性 AI 模型，可连接数字感知和现实世界的互动。VLMs 提高了决策、准确性、互动性和性能，使视觉 AI 代理能够更有效地处理复杂任务。
由生成性 AI 驱动的视觉 AI 代理正在各个领域迅速部署，包括医院、工厂、仓库、零售店、机场和交通路口。NVIDIA 的 NIM 微服务和物理 AI 参考工作流程为开发人员提供了构建和部署高性能视觉 AI 代理所需的工具。
案例研究：K2K 提升巴勒莫的交通管理
在意大利巴勒莫，城市交通管理者部署了使用 NVIDIA NIM 的视觉 AI 代理，以获取物理见解并更好地管理道路。NVIDIA Metropolis 合作伙伴 K2K 将 NIM 微服务和 VLMs 集成到 AI 代理中，实时分析现场交通摄像头的画面。这使得城市官员可以用自然语言提问并获得准确的见解和改进城市运营的建议，例如调整交通灯时间。
弥合模拟与现实的差距
许多 AI 驱动的企业正在为生成性物理 AI 项目采取“模拟优先”方法。NVIDIA 的物理 AI 软件、工具和平台，包括 NIM 微服务和参考工作流程，有助于简化数字表征的创建，使其准确模拟现实世界的条件。这种方法对制造、工厂物流和机器人公司特别有利。
视觉语言模型（VLMs）因其生成逼真图像的能力而在各个行业中广泛应用。然而，它们需要大量数据进行训练。由数字孪生生成的合成数据提供了一种强大的替代方案，提供了强大的数据集来训练物理 AI 模型，而无需高昂的成本和现实世界数据采集的限制。
NVIDIA 的工具，如 NIM 微服务和 Omniverse Replicator，使开发人员能够构建合成数据管道，创建多样化的数据集，增强像 VLMs 这样的模型的适应性和性能。
可用性
开发人员可以在 ai.nvidia.com 获取 NVIDIA 的最先进的 AI 模型和 NIM 微服务。Metropolis NIM 参考工作流程可在 GitHub 仓库中获取，Metropolis VIA 微服务可在开发者预览版中下载。OpenUSD NIM 微服务也可通过 NVIDIA API 目录预览获取。
Image source: Shutterstock