Mistral AI 推出 Ministral 3B 和 8B 模型用于边缘计算
realtime news Oct 16, 2024 14:32
Mistral AI 介绍了 Ministral 3B 和 8B，这是用于边缘计算的最先进模型。这些模型承诺为各种应用提供低延迟和高效性能。
根据 Mistral AI，Mistral AI 宣布推出两款新模型，Ministral 3B 和 Ministral 8B，专为设备计算和边缘用例设计。这些模型是在 Mistral 7B 发布一周年之际推出的，标志着前沿 AI 创新中的一个重要里程碑。
高级功能和用例
Ministral 模型被设计用于在知识、常识推理、功能调用和效率等领域表现出色，属于 sub-10B 类别。它们提供高达 128k 的广泛上下文长度，其中 Ministral 8B 拥有独特的交错滑动窗口注意力模式，以增强速度和内存效率。这些能力使得该模型适用于广泛的应用，包括设备内翻译、无互联网智能助理、本地分析和自主机器人等。
与如 Mistral Large 这样的大规模语言模型协作，Ministral 模型作为复杂工作流中的高效中介，能够以最小的延迟和成本解析输入、指派任务和调用 API。这使得它们成为寻求以隐私为先、低延迟推理解决方案的独立开发者和大规模制造团队的理想选择。
性能和基准
Mistral AI 已经将 Ministral 3B 和 8B 的性能与其他模型进行了基准测试，包括 Gemma 2 2B、Llama 3.2 3B 和 Mistral 7B。结果显示，Ministral 模型在各种任务中始终优于同类模型。这些评估突显了模型在高效处理多样化和复杂场景方面的能力。
可用性和定价
两种模型现已发布，Ministral 8B 的定价为每百万个 token 0.1 美元，Ministral 3B 为每百万个 token 0.04 美元。根据 Mistral 的商业和研究许可提供，支持通过商业许可自部署以及无损量化以优化特定用例的性能。此外，Ministral 8B Instruct 的模型权重可用于研究目的。
未来前景
Mistral AI 将在前沿 AI 模型的创新中继续推进，致力于突破边缘计算的可能性。自 Mistral 7B 的发布以来，公司取得了重大进展，新推出的 Ministral 3B 模型性能尤为优越。Mistral AI 期待用户在探索 Ministral 模型的能力时给予反馈。
Image source: Shutterstock