NVIDIA 推出用于人工智能训练的 Nemotron-4 340B 合成数据生成模型
realtime news Jun 15, 2024 05:16
NVIDIA 发布了 Nemotron-4 340B，优化用于大型语言模型的开放合成数据生成管道。
根据 NVIDIA 博客，NVIDIA 推出了 Nemotron-4 340B，一个新系列的模型，旨在为包括医疗、金融、制造和零售等各个行业的大型语言模型（LLM）生成合成数据。
使用 Nemotron 生成合成数据
高质量的训练数据对自定义 LLM 的性能和准确性至关重要。然而，获取完备的数据集可能既昂贵又具有挑战性。Nemotron-4 340B 旨在通过一个宽松的开放模型许可，为开发者提供一种免费且可扩展的合成数据生成方式。
Nemotron-4 340B 系列包括基础模型、指导模型和奖励模型，这些模型已优化与 NVIDIA NeMo 和 NVIDIA TensorRT-LLM 一起使用。这些模型形成一个管道，用于生成用于训练和优化 LLM 的合成数据。开发者可以从 Hugging Face 下载 Nemotron-4 340B，并将在不久后可以通过 ai.nvidia.com 访问这些模型。
使用 NeMo 进行微调，使用 TensorRT-LLM 进行推理优化
利用开源框架如 NVIDIA NeMo 和 NVIDIA TensorRT-LLM，开发者可以优化其指导模型和奖励模型的效率，以生成合成数据和评分响应。所有 Nemotron-4 340B 模型都经过 TensorRT-LLM 优化，以利用张量并行，实现高效的大规模推理。
Nemotron-4 340B 基础模型在 9 万亿个 tokens 上训练，可以使用 NeMo 框架进行定制，以适应特定的用例或领域。这个微调过程受益于广泛的预训练数据，能够为特定的下游任务生成更精确的输出。
通过 NeMo 框架提供的定制方法包括监督微调和参数高效微调方法，例如低秩适配（LoRA）。开发者还可以使用 NeMo Aligner 和 Nemotron-4 340B 奖励标注的数据集来对齐模型，确保输出准确且具有上下文的适当性。
评估模型安全性及如何入门
Nemotron-4 340B 指导模型已经过广泛的安全评估，包括对抗测试，并在各种风险指标上表现良好。然而，用户仍应仔细评估模型输出，以确保合成生成的数据适用于其特定用例，并且是安全且准确的。
关于模型安全性和安全评估的详细信息，用户可以参考模型卡。Nemotron-4 340B 模型可以通过 Hugging Face 下载。对底层技术感兴趣的研究人员和开发者还可以查看有关模型和数据集的研究论文。
Image source: Shutterstock