AWS 扩展 NVIDIA NIM 微服务以增强 AI 推理能力
realtime news Dec 04, 2024 21:04
AWS 和 NVIDIA 通过在 AWS 平台上扩展 NIM 微服务，加强了 AI 推理能力，提高了效率并减少了生成式 AI 应用的延迟。
亚马逊云服务（AWS）宣布扩大与 NVIDIA 的合作，将 NVIDIA NIM 微服务整合到其关键的 AI 服务中。据 NVIDIA 报道，此举在 AWS re:Invent 大会上公布，旨在加速 AI 推理并减少生成式 AI 应用的延迟。
利用 NVIDIA NIM 增强 AI 推理
NVIDIA NIM 微服务现在可以通过 AWS 市场、亚马逊 Bedrock 市场和亚马逊 SageMaker JumpStart 轻松获取。这种可用性简化了对流行模型进行大规模 NVIDIA 优化推理的部署。作为 NVIDIA AI 企业软件平台的一部分，NIM 微服务在各种环境中提供安全且高性能的 AI 模型推理部署。
这些预构建的容器利用了先进的推理引擎，如 NVIDIA Triton 推理服务器和 NVIDIA TensorRT，支持广泛的 AI 模型。开发人员可以在包括 Amazon EC2 和 Amazon EKS 在内的各种 AWS 平台上利用这些服务，从而增强模型部署的灵活性和性能。
广泛支持的模型范围
开发人员可以探索超过 100 个 NIM 微服务，其中包括来自 NVIDIA、Meta 的 Llama 3 以及 Mistral AI 的模型等。这些服务经过优化，可以通过 AWS 上的 NVIDIA 加速计算实例进行部署，为 AI 模型推理提供强大的解决方案。
值得注意的是，NVIDIA Nemotron-4 和 Llama 3.1 模型现已直接通过 AWS 提供，分别为数据合成和多语言对话提供高级功能。这些模型旨在提升 AI 应用的性能和可靠性，适用于各种领域。
行业采用和使用案例
各行业正越来越多地采用 AWS 上的 NIM，以加快市场准入、确保安全并降低生成式 AI 应用的成本。例如，IT 咨询公司 SoftServe 已使用 NVIDIA NIM 开发了多项 AI 解决方案，这些方案现已在 AWS 市场上推出。其中包括用于药物发现、工业助理和内容创作的应用程序，所有这些都利用 NVIDIA AI 蓝图加速开发和部署。
开始在 AWS 上使用 NIM
有兴趣部署 NVIDIA NIM 微服务的开发人员可以通过探索 NVIDIA API 目录开始，该目录提供了众多经过 NIM 优化的模型。他们可以申请开发者许可证或 NVIDIA AI 企业的试用许可证，以开始在 AWS 平台上部署这些微服务。这项计划强调了 AWS 和 NVIDIA 对推进 AI 技术的承诺以及为开发者提供无缝集成的努力。
Image source: Shutterstock