简化AI开发：Brev.dev与NVIDIA NGC目录集成，实现一键GPU部署
realtime news Jul 02, 2024 03:02
Brev.dev和NVIDIA NGC目录通过一键部署GPU优化软件，简化了AI开发流程，提高了效率并减少了设置时间。
根据NVIDIA 技术博客报道，Brev.dev与NVIDIA合作，通过集成NVIDIA NGC目录，增强AI解决方案的开发和部署。此次合作旨在简化GPU优化软件的部署过程，使其变得仅需一键操作即可实现。
解决方案亮点
Brev.dev和NVIDIA NGC目录之间的集成解决了在云中启动GPU实例相关的多种挑战。该解决方案的主要功能包括：
- 一键部署：用户无需广泛的专业知识或设置即可部署NVIDIA AI软件，将部署时间从数小时缩短到几分钟。
- 随处部署：Brev的API作为多种环境（包括本地数据中心、公共云和私有云）下的统一接口，缓解了潜在的供应商锁定问题。
- 简化设置过程：Brev的开源容器工具Verb简化了CUDA和Python在任何GPU上的安装，从而高效地解决了依赖问题。
- 安全网络：Brev的CLI工具安全地管理SSH密钥，促进与计算资源的连接，无需处理复杂的IP配置或PEM文件。
微调Mistral Jupyter Notebook
NVIDIA提供的一个示例用例涉及使用Mistral 7B模型微调大型语言模型（LLM）。通过利用NVIDIA NeMo，开发人员可以训练、评估和测试问答任务的模型。NeMo是一个开发定制生成AI的端到端平台，提供数据策划、训练、检索增强生成（RAG）和护栏工具。
通过Brev的一键部署集成，开发人员可以快速访问GPU并开始定制生成AI模型。所需的软件栈（包括NeMo）由Brev的平台设置，使开发人员能够专注于AI开发，而非基础设施管理。
步骤 1：设置先决条件
首先，开发人员可以从NGC目录获取notebook。在Brev上部署后，可以从浏览器访问以开始执行代码块。新用户需要首先在Brev上创建一个账户。
步骤 2：准备基础模型
开发人员需要下载Mistral 7B模型，并使用NeMo提供的命令将其转换为.nemo格式。此转换对于利用NeMo框架进行微调是必要的。
步骤 3：准备微调数据
提供的示例使用PubMedQA数据集微调Mistral 7B，涉及回答医学研究问题。提供的命令将数据集转换为.jsonl格式，以进行参数高效微调（PEFT）和NeMo。
步骤 4：运行训练
设置GPU配置和其他参数后，可以使用NeMo框架初始化训练管道。这涉及导入必要的类和模块，创建训练实例，以及加载预训练的Megatron GPT模型。
步骤 5：查看性能和结果
最后，可以根据测试数据集评估微调模型的性能。输出将显示测试指标，包括测试损失和验证损失，提供针对PEFT后的模型性能的见解。
通过作为所有云的单一接口并自动化设置过程，Brev.dev使开发人员能够充分利用NVIDIA软件，增强了跨各种项目的AI开发和部署的易用性。
开始使用
Brev.dev提供其一键部署功能的两小时免费试用，提供了简单配置GPU基础设施的机会。该公司还在扩展此功能以包括更多NGC目录中的NVIDIA软件。探索Brev.dev快速部署集合。
Image source: Shutterstock