NVIDIA推出增强型Nemotron-4 340B模型以生成合成数据

realtime news  Jun 19, 2024 11:36  UTC 03:36

1 Min Read

对于人工智能 (AI) 社区而言,这是一个重要的发展,NVIDIA推出了一套新的模型家族,用于合成数据生成 (SDG)。根据NVIDIA技术博客的报道,Nemotron-4 340B模型家族包括最先进的Reward和Instruct模型,所有模型都在宽松的许可证下发布。

NVIDIA开放模型许可证

Nemotron-4 340B模型,包括基础、指导和奖励模型,都在新的NVIDIA开放模型许可证下发布。此宽松许可证允许分发、修改和使用这些模型及其输出用于个人、研究和商业目的,而无需归属。

介绍Nemotron-4 340B奖励模型

Nemotron-4 340B奖励模型是一个尖端的多维奖励模型,用于评估文本提示并根据人类偏好返回评分。它经过了Reward Bench的基准测试,并以92.0的总分表现出色,特别是在Chat-Hard子集上表现尤为突出。

奖励模型使用HelpSteer2数据集,该数据集包含根据属性如有用性、正确性、一致性、复杂性和冗长性进行评分的人类注释响应。该数据集可在CC-BY-4.0许可证下获得。

合成数据生成初步介绍

合成数据生成 (SDG) 指的是创建可用于各种模型定制的数据集的过程,包括监督微调、参数高效微调和模型对准。SDG对于生成高质量数据至关重要,这可以提高AI模型的准确性和有效性。

Nemotron-4 340B模型家族可用于SDG,通过生成合成响应并使用奖励模型对其进行排名。此过程确保仅保留最高质量的数据,模拟了人类评估过程。

案例研究

在一个案例研究中,NVIDIA研究人员展示了使用HelpSteer2数据集进行SDG的有效性。他们创建了100K行对话合成数据,称之为“Daring Anteater”,并用它对Llama 3 70B基础模型进行了对准。尽管只使用了1%的人类注释数据,这种对准在多个基准测试中与Llama 3 70B指导模型的表现相匹配或超过。

结论

数据是大型语言模型 (LLM) 的支柱,而合成数据生成将彻底改变企业构建和完善AI系统的方式。NVIDIA的Nemotron-4 340B模型提供了一个强大的解决方案来增强数据管道,凭借宽松的许可证和高质量的指导和奖励模型。

欲了解更多详情,请访问官方NVIDIA技术博客



Read More