NVIDIA推出AI Foundry服务，为企业定制生成式AI模型
realtime news Jul 23, 2024 20:21
NVIDIA AI Foundry使企业能够使用数据、加速计算和软件工具创建和部署定制生成式AI模型，增强其AI计划。
NVIDIA推出了AI Foundry服务，旨在帮助企业创建和部署定制生成式AI模型，以满足其特定需求。根据NVIDIA博客报道，该服务利用数据、加速计算和先进软件工具。
行业先锋推动AI创新
Amdocs、Capital One、Getty Images、KT、现代汽车公司、SAP、ServiceNow 和 Snowflake 等领先公司是NVIDIA AI Foundry的早期采用者。这些行业先锋为企业软件、技术、通信和媒体领域的AI驱动创新奠定了基础。
ServiceNow的AI产品副总裁Jeremy Barnes强调了定制模型带来的竞争优势。“部署AI的组织可以通过将行业和业务知识融入定制模型来获得竞争优势，”Barnes说道。“ServiceNow正在使用NVIDIA AI Foundry微调和部署模型，这些模型可以轻松整合到客户的现有工作流程中。”
NVIDIA AI Foundry的支柱
NVIDIA AI Foundry基于几个关键支柱：基础模型、企业软件、加速计算、专家支持和广泛的合作伙伴生态系统。该服务包括来自NVIDIA和AI社区的AI基础模型，以及用于快速模型开发的完整NVIDIA NeMo软件平台。
NVIDIA AI Foundry的计算支柱是NVIDIA DGX Cloud，这是一种与Amazon Web Services、Google Cloud和Oracle Cloud Infrastructure等领先的公共云共同开发的加速计算资源网络。此设置让AI Foundry客户能够高效地开发和微调定制生成式AI应用程序，并在无需大量前期硬件投资的情况下扩展其AI计划。
此外，NVIDIA AI Enterprise专家可在使用专有数据构建、微调和部署模型的每一步为客户提供帮助，确保与业务需求保持一致。
全球生态系统和合作伙伴支持
NVIDIA AI Foundry客户受益于全球合作伙伴生态系统的全面支持。Accenture、Deloitte、Infosys和Wipro等合作伙伴的咨询服务包括AI驱动的数字化转型项目的设计、实施和管理。例如，Accenture推出了基于AI Foundry的服务，Accenture AI Refinery框架。
Data Monsters、Quantiphi、Slalom 和 SoftServe 等服务交付合作伙伴帮助企业应对将AI集成到现有IT环境中的复杂性，确保AI应用程序具备可扩展性、安全性，并与业务目标保持一致。
客户可以使用Cleanlab、DataDog、Dataiku、Dataloop、DataRobot、Domino Data Lab、Fiddler AI、New Relic、Scale和Weights & Biases等合作伙伴的AIOps和MLOps平台开发用于生产的NVIDIA AI Foundry模型。这些模型可以作为NVIDIA NIM推理微服务部署，其中包括定制模型、优化引擎和在首选加速基础设施上运行的标准API。
推理解决方案如NVIDIA TensorRT-LLM可提高Llama 3.1模型的效率，减少延迟并最大化吞吐量。这使企业能够更快地生成令牌，同时降低运行生产模型的总成本，得到NVIDIA AI Enterprise软件套件的支持。
此外，Together AI宣布将使其拥有超过100,000名开发者和企业的生态系统使用NVIDIA GPU加速推理堆栈，在DGX Cloud上部署Llama 3.1端点和其他开放模型。
“每个运行生成式AI应用程序的企业都希望拥有更快的用户体验、更高的效率和更低的成本，”Together AI创始人兼CEO Vipul Ved Prakash说。“现在，使用Together推理引擎的开发者和企业可以在NVIDIA DGX Cloud上实现性能、可扩展性和安全性的最大化。”
NVIDIA NeMo简化定制模型开发
集成到AI Foundry中的NVIDIA NeMo为开发者提供了数据策划、定制基础模型和评估性能的工具。NeMo技术包括：
- NeMo Curator： 一种GPU加速的数据策划库，通过准备用于预训练和微调的大规模、高质量数据集，提升生成式AI模型的性能。
- NeMo Customizer： 一种可扩展的微服务，简化了大语言模型（LLM）的微调和对特定领域应用的对齐。
- NeMo Evaluator： 自动评估生成式AI模型在任何加速云或数据中心上的学术和定制基准中的表现。
- NeMo Guardrails： 管理对话，支持智能应用程序中大语言模型的准确性、适当性和安全性。
通过这些工具，企业可以创建精确定制其需求的AI模型，从而改进与战略目标的对齐、决策的准确性和运营效率。
SAP首席AI官Philipp Herzig指出，“作为我们合作的下一步，SAP计划使用NVIDIA的NeMo平台，帮助企业加速由SAP Business AI驱动的AI生产力。”
定制模型提供竞争优势
NVIDIA AI Foundry解决了企业在采用AI过程中面临的独特挑战。虽然通用AI模型可能无法满足具体的业务需求和数据安全要求，但定制AI模型提供了更高的灵活性、适应性和性能，使其成为寻求竞争优势的企业的理想选择。
“对于利用生成式AI的企业来说，安全、可信的AI是不可妥协的，检索的准确性直接影响到RAG系统中生成响应的相关性和质量，”Snowflake AI主管Baris Gultekin说。“Snowflake Cortex AI利用NVIDIA AI Foundry的NeMo Retriever组件，进一步为企业提供使用定制数据的简便、高效和可信的答案。”
欲了解更多关于NVIDIA AI Foundry如何提升企业生产力和创新的信息，请访问NVIDIA AI Foundry。
Image source: Shutterstock