AMD发布OLMo：开源语言模型新时代
realtime news Nov 04, 2024 19:07
AMD推出了其首个10亿参数语言模型OLMo，旨在通过可开放获取的资源提升AI研究和应用。
根据AMD的消息，高级微设备公司（AMD）宣布推出其首个开源语言模型OLMo，该模型具有10亿个参数。这一计划标志着AMD在通过开放资源推动人工智能（AI）技术发展上迈出了重要一步。
赋能AI开发
推出AMD OLMo旨在为研究人员和开发者提供强大的工具，以进行AI模型的预训练和微调，从而满足特定行业需求。通过开放源码，AMD希望鼓励创新和定制，使用户能够将AI解决方案定制化以适应独特的应用。这种方法特别有价值，因为对特定AI解决方案的需求在各个领域的增长趋势显著。
技术规格和训练
AMD OLMo模型使用1.3万亿个tokens在16个节点上的AMD Instinct™ MI250 GPU上进行预训练。模型包括三个检查点，每个代表训练的不同阶段。此设置旨在优化计算资源的同时保持性能。模型还配备了两阶段的监督微调和DPO对齐，以增强推理和聊天能力。
性能与比较
在基准测试中，AMD OLMo模型在与类似规模的其他开源模型（如TinyLLaMA和MobiLLaMA）的性能比较中表现出竞争力。这些比较强调了OLMo在保持负责任AI标准的同时在通用推理和聊天功能方面的能力。
开源承诺
AMD决定将OLMo模型开源，突显了其对AI社区的承诺。通过提供训练数据、模型权重和代码，AMD旨在促进AI研究的进一步创新和合作。此举预计将激励AI技术的新发展和应用，利用AMD硬件解决方案如Ryzen AI处理器的能力。
AMD通过发布新的AI模型继续支持开源社区，并期待来自该领域合作努力的令人兴奋的进展。
Image source: Shutterstock