NVIDIA 发布微服务以增强 NIM 生成式人工智能
realtime news Jul 11, 2024 03:42
NVIDIA 推出了 NIM 微服务，简化了在 RTX 工作站和 GeForce RTX 系统上部署生成式 AI 的流程。
在快速发展的人工智能领域，生成式 AI 引人遐想，并正在改变各个行业。据 NVIDIA 博客报道，在幕后，一位无名英雄正在成就这一切：微服务架构。
现代 AI 应用的基石
微服务已经成为一种强大的架构，根本上改变了人们设计、构建和部署软件的方式。微服务架构将应用程序分解为一组松散耦合、可独立部署的服务。每个服务负责特定的功能，并通过定义明确的应用程序编程接口（API）与其他服务通信。这种模块化方法与传统的全包式架构形成对比，后者将所有功能捆绑在一个紧密集成的应用程序中。
通过解耦服务，团队可以同时处理不同的组件，加速开发过程，并允许更新独立推出而不影响整个应用程序。开发人员可以专注于构建和改进特定服务，从而提高代码质量并加快问题解决。这样的专业化使开发人员能够在他们的特定领域成为专家。
服务可以根据需求独立扩展，优化资源利用率并改善整体系统性能。此外，不同的服务可以使用不同的技术，使开发人员能够选择最适合每个特定任务的工具。
完美配对：微服务与生成式 AI
微服务架构特别适合开发生成式 AI 应用程序，因为它具有可扩展性、增强的模块化和灵活性。AI 模型，尤其是大型语言模型，需要大量计算资源。微服务可以高效扩展这些资源密集型组件而不影响整个系统。
生成式 AI 应用程序通常涉及多步骤流程，如数据预处理、模型推理和后处理。微服务使每个步骤都能独立开发、优化和扩展。随着 AI 模型和技术的快速发展，微服务架构使得更容易集成新模型并替换现有模型，而不会干扰整个应用程序。
NVIDIA NIM：简化生成式 AI 部署
随着对 AI 驱动应用的需求不断增长，开发人员面临如何高效部署和管理 AI 模型的挑战。NVIDIA NIM 推理微服务提供了以优化容器形式部署的模型，可以在云、数据中心、工作站、台式机和笔记本电脑上使用。每个 NIM 容器都包含预训练的 AI 模型和所有必要的运行时组件，简化了将 AI 功能集成到应用程序中的过程。
NIM 为希望集成 AI 功能的应用开发人员提供了革命性的解决方案，具有简化集成、生产就绪性和灵活性。开发人员可以专注于构建他们的应用程序，而无需担心数据准备、模型训练或定制化的复杂性，因为 NIM 推理微服务经过性能优化，带有运行时优化，并支持行业标准 API。
AI 触手可及：NVIDIA NIM 在工作站和 PC 上的应用
构建企业级生成式 AI 应用程序伴随着许多挑战。虽然云托管的模型 API 可以帮助开发人员入门，但与数据隐私、安全、模型响应延迟、准确性、API 成本和扩展相关的问题常常阻碍其进入实际生产应用。配备 NIM 的工作站为开发人员提供了安全访问广泛模型和性能优化推理微服务的机会。
通过避免与云托管 API 相关的延迟、成本和合规性问题以及模型部署的复杂性，开发人员可以专注于应用程序开发。这加速了生成式 AI 应用程序的生产就绪，能够在数据中心和云中实现性能优化的无缝自动扩展。
最近宣布的 Meta Llama 3 8B 模型作为 NIM 的通用可用性，可以在 RTX 系统上本地运行，为独立开发者带来了最先进的语言模型功能，使得本地测试和实验无需使用云资源。通过本地运行 NIM，开发者可以在其工作站上创建复杂的检索增强生成（RAG）项目。
本地 RAG 指的是在完全本地硬件上实现 RAG 系统，而不依赖云服务或外部 API。开发人员可以在配备一个或多个 NVIDIA RTX 6000 Ada Generation GPU 的工作站上，或在 NVIDIA RTX 系统上使用 Llama 3 8B NIM 构建端到端的 RAG 系统。这种设置使开发人员能够利用 Llama 3 8B 的全部功能，确保高性能和低延迟。
通过本地运行整个 RAG 管道，开发人员可以完全控制他们的数据，确保隐私和安全。对于需要实时响应和高准确性的应用，尤其是客户支持聊天机器人、个性化内容生成工具和交互式虚拟助手，这种方法特别有用。
混合 RAG 结合了本地和云资源，以优化 AI 应用的性能和灵活性。使用 NVIDIA AI Workbench，开发人员可以从 hybrid-RAG Workbench Project 开始，该项目是一个示例应用程序，可以用于本地运行向量数据库和嵌入模型，同时在云或数据中心使用 NIM 进行推理，从而提供灵活的资源分配方法。
这种混合设置使开发人员能够在本地和云资源之间平衡计算负荷，优化性能和成本。例如，向量数据库和嵌入模型可以托管在本地工作站上，以确保快速的数据检索和处理，而计算密集的推理任务可以转移到强大的云端 NIM 推理微服务。这种灵活性使开发人员能够无缝扩展他们的应用程序，适应不同的工作负载并确保一致的性能。
NVIDIA ACE NIM 推理微服务利用生成式 AI 在 RTX PC 和工作站上实现数字人、AI 非玩家角色（NPC）和交互式虚拟形象。ACE NIM 推理微服务包括 Riva 自动语音识别、文本转语音和神经机器翻译，能够实现准确的转录、翻译和逼真的声音。NVIDIA Nemotron 小型语言模型是一个用于角色扮演和 RAG 用例的 NIM，包括 INT4 量化以实现最小的内存使用。ACE NIM 推理微服务的外观部分包括 Audio2Face 和 Omniverse RTX ，用于实现超现实视觉效果和逼真动画。这些不仅提供了更沉浸和吸引人的游戏角色，还为与虚拟客户服务代理交互的用户带来了更满意的体验。
探索 NIM
随着 AI 的进步，快速部署和扩展其能力的能力将变得越来越重要。NVIDIA NIM 微服务为这一新时代的 AI 应用开发提供了基础，促成突破性创新。无论是构建新一代 AI 驱动的游戏、开发先进的自然语言处理应用，还是创建智能自动化系统，用户都可以轻松访问这些强大的开发工具。
开始的方式：
- 访问并体验 NVIDIA NIM 微服务，请点击 ai.nvidia.com。
- 加入NVIDIA 开发者计划，免费获取 NIM 的测试和原型设计 AI 应用的权限。
- 购买 NVIDIA AI Enterprise 许可证，并享受 90 天免费评价期，用于生产部署和在云或数据中心自托管 AI 模型。
