AMD发布OLMo:开源语言模型新时代

realtime news  Nov 05, 2024 03:07  UTC 19:07

1 Min Read

根据AMD的消息,高级微设备公司(AMD)宣布推出其首个开源语言模型OLMo,该模型具有10亿个参数。这一计划标志着AMD在通过开放资源推动人工智能(AI)技术发展上迈出了重要一步。

赋能AI开发

推出AMD OLMo旨在为研究人员和开发者提供强大的工具,以进行AI模型的预训练和微调,从而满足特定行业需求。通过开放源码,AMD希望鼓励创新和定制,使用户能够将AI解决方案定制化以适应独特的应用。这种方法特别有价值,因为对特定AI解决方案的需求在各个领域的增长趋势显著。

技术规格和训练

AMD OLMo模型使用1.3万亿个tokens在16个节点上的AMD Instinct™ MI250 GPU上进行预训练。模型包括三个检查点,每个代表训练的不同阶段。此设置旨在优化计算资源的同时保持性能。模型还配备了两阶段的监督微调和DPO对齐,以增强推理和聊天能力。

性能与比较

在基准测试中,AMD OLMo模型在与类似规模的其他开源模型(如TinyLLaMA和MobiLLaMA)的性能比较中表现出竞争力。这些比较强调了OLMo在保持负责任AI标准的同时在通用推理和聊天功能方面的能力。

开源承诺

AMD决定将OLMo模型开源,突显了其对AI社区的承诺。通过提供训练数据、模型权重和代码,AMD旨在促进AI研究的进一步创新和合作。此举预计将激励AI技术的新发展和应用,利用AMD硬件解决方案如Ryzen AI处理器的能力。

AMD通过发布新的AI模型继续支持开源社区,并期待来自该领域合作努力的令人兴奋的进展。



Read More