NVIDIA和Oracle通过NIM和cuVS集成增强AI工作负载
realtime news Sep 18, 2024 05:07
NVIDIA和Oracle合作，通过在Oracle云基础设施上使用NVIDIA NIM和cuVS加速AI工作负载，增强生成性AI应用。
世界上绝大多数的数据仍未被开发利用，企业希望通过创建新一波的生成性AI应用从这些数据中创造价值。根据NVIDIA技术博客，检索增强生成（RAG）管道是实现这一目标的关键部分，使用户能够与大量数据互动，将文档转化为交互式AI应用。
实现RAG管道的挑战
企业在实现RAG管道时面临若干挑战。处理结构化和非结构化数据非常复杂，数据处理和检索计算强度高。此外，隐私和安全性必须集成到这些管道中。
为了应对这些问题，NVIDIA和Oracle合作，展示了RAG管道的各个部分如何利用Oracle云基础设施（OCI）上的NVIDIA加速计算平台。此集成旨在帮助企业更好地利用其数据，提高生成性AI输出的质量和可靠性。
使用NVIDIA GPU和Oracle自主数据库生成嵌入
在数据丰富的企业环境中，利用大量文本数据以生成式AI至关重要，有助于提高效率和生产力。NVIDIA与Oracle展示了客户如何通过Oracle自主数据库中的Oracle机学习（OML）笔记本访问NVIDIA GPU。这使得用户能够将数据直接从Oracle数据库表加载到OCI的NVIDIA GPU加速虚拟机（VM）实例中，使用GPU生成向量嵌入，并将这些向量存储在Oracle数据库中以高效地使用AI向量搜索。
加速的向量搜索索引和Oracle Database 23ai
NVIDIA cuVS是一个用于GPU加速向量搜索和聚类的开源库。cuVS的一个关键功能是显著提高索引构建时间，这是向量搜索的重要组成部分。NVIDIA和Oracle展示了一个概念验证，旨在加速分层导航小世界（HNSW）算法的向量索引构建。这种方法将GPU与CPU配对，产生更快速的索引生成和AI工作负载的性能改进。
在OCI上使用NIM进行高效LLM推理
NVIDIA NIM提供容器，能够在各种环境中自托管GPU加速的推理微服务，用于预训练和定制的AI模型。NIM微服务专为NVIDIA加速基础设施设计，使其能够顺利集成现有工具和应用程序。开发人员可以以最少的代码快速部署LLM，无论是在本地还是在Kubernetes管理的云环境中。
在OCI上部署NVIDIA NIM提供了几个好处，包括改进的总拥有成本（TCO）与低延迟、高吞吐量推理，使用预构建的微服务加速市场上市时间，以及增强的应用和数据安全性和控制力。
在Oracle CloudWorld示范中，NVIDIA和Oracle展示了使用NIM进行LLM怎样比现成的开源替代方案在吞吐量上显著提升，尤其是在文本生成和翻译用例中。
开始使用
NVIDIA与OCI和Oracle数据库团队合作，展示了如何使用NVIDIA GPU和软件加速批量生成向量嵌入、HNSW索引创建和推理元素。此方法帮助组织利用NVIDIA加速计算平台带来的性能改进，使其能够使用AI管理存储在Oracle数据库中的大量数据。
了解更多关于cuVS的信息。欲试用NVIDIA NIM，请访问ai.nvidia.com并注册NVIDIA开发者项目以立即访问微服务。您还可以开始使用支持NVIDIA GPU的自主数据库和Oracle Database 23ai AI向量搜索与Oracle Database 23ai免费版。
Image source: Shutterstock