Mistral AI与NVIDIA推出Mistral NeMo 12B，一款尖端企业级AI模型
realtime news Jul 18, 2024 15:36
Mistral AI与NVIDIA揭示了Mistral NeMo 12B，这是一款可定制和部署的企业级AI模型，用于聊天机器人、多语言任务、编码和摘要。
Mistral AI和NVIDIA推出了一款突破性的语言模型Mistral NeMo 12B，旨在为企业应用轻松定制和部署。根据blogs.nvidia.com，该模型支持多种任务，包括聊天机器人、多语言处理、编码和摘要。
高性能合作
Mistral NeMo 12B利用了Mistral AI的数据训练专业知识以及NVIDIA优化的硬件和软件生态系统。Mistral AI联合创始人兼首席科学家Guillaume Lample强调了此次合作的重要性，指出该模型的前所未有的准确性、灵活性和效率，由NVIDIA AI Enterprise部署提供支持。
在NVIDIA DGX Cloud AI平台上训练的Mistral NeMo模型受益于对最新NVIDIA架构的可扩展访问。使用NVIDIA TensorRT-LLM进行加速推理性能，并使用NVIDIA NeMo开发平台构建自定义生成AI模型，进一步增强其能力。
高级特性和能力
Mistral NeMo 12B在多轮对话、数学、常识推理、世界知识和编码方面表现出色。其128K上下文长度可以连贯地处理广泛且复杂的信息，确保上下文相关的输出。该模型在Apache 2.0许可证下发布，鼓励AI社区的创新。
这个120亿参数的模型使用FP8数据格式进行模型推理，减少了内存大小并加速部署，同时确保精度不受影响。作为NVIDIA NIM推理微服务打包，它通过NVIDIA TensorRT-LLM引擎提供优化的推理性能，便于在各种平台上轻松部署。
企业级部署
Mistral NeMo NIM可以在几分钟内部署，为多样化的应用提供了增强的灵活性。它采用企业级软件，包括专用功能分支、严格的验证流程以及强大的安全性和支持。该模型设计适用于单个NVIDIA L40S、NVIDIA GeForce RTX 4090或NVIDIA RTX 4500 GPU的内存，确保高效、低计算成本以及增强的安全性和隐私性。
优化的训练和推理
结合Mistral AI和NVIDIA工程师的专业知识，Mistral NeMo模型受益于优化的训练和推理过程。通过Mistral AI在多语言性、编码和多轮内容方面的专业知识培训，该模型利用NVIDIA的全栈进行加速训练。它采用高效的模型并行技术、可扩展性以及与NVIDIA NeMo部分的Megatron-LM进行混合精度训练。
训练过程涉及在DGX Cloud上使用3,072个H100 80GB张量核心GPU，利用NVIDIA AI架构，提高训练效率。
可用性和部署
Mistral NeMo模型可在各种平台上部署，包括云、数据中心或RTX工作站。企业可以通过ai.nvidia.com体验NVIDIA NIM版本的Mistral NeMo，预计很快将有可下载的NIM版本。
Image source: Shutterstock