Modelserve: Golem Network的新AI推理服务
realtime news Jul 15, 2024 15:38
Golem Network 推出了 Modelserve，这是一项为开发者和初创公司设计的具有可扩展性和成本效益的AI模型推理服务。
根据 Golem Project 的最新公告，Golem Network 推出了 Modelserve，这是一项旨在提供可扩展且价格合理的AI模型推理的新服务。该服务旨在通过可扩展的端点实现AI模型的无缝部署和推理，提高AI应用的效率和成本效益。
什么是 Modelserve？
Modelserve 是由一个外部团队和 Golem Factory 合作开发的，集成在 Golem Network 生态系统中。它旨在支持AI开源社区，并吸引开发AI应用程序的 GPU 提供商。该服务允许通过可扩展的端点实现AI模型的无缝部署和推理，确保AI应用操作的高效和成本效益。
为什么 Golem Network 推出 Modelserve？
推出 Modelserve 的目的是满足AI行业对计算能力日益增长的需求。通过利用消费者级别的 GPU 资源，这些资源提供了足够的电力和内存，该服务可以有效地运行AI模型，如扩散模型、自动语音识别和小到中等的语言模型。与传统方法相比，这种方法更具成本效益。Golem Network 的去中心化架构充当了匹配这些资源供需的市场，使用户能够获取与AI应用完美适配的计算能力。
Modelserve 的加入在推动AI使用案例和需求增加的过程中起到了关键作用，并有助于 Golem Network 的更广泛采用。
目标受众
Modelserve 适用于各种用户，包括服务和产品开发者、初创公司以及在Web 2.0 和 Web 3.0 环境中运营的公司。这些用户通常：
- 利用小型和中型的开源模型或从零开始创建自己的模型
- 需要可扩展的AI模型推理能力
- 寻找一个测试和实验AI模型的环境
技术实施
Modelserve 包含三个关键组件：
- 网站：允许用户创建和管理端点
- 后端：管理GPU资源以处理推理，具有负载均衡和自动缩放能力。它利用市场上可用的 GPU 资源，从 Golem 开放和去中心化市场及其他提供GPU实例的平台获取
- API：允许运行AI模型推理和管理端点
该服务使用美元进行用户交易，而与 Golem GPU 提供商的结算则使用 Golem Network 的本地代币 GLM 进行。
用户利益
- 无需维护的AI基础设施（AI IaaS）：用户无需管理模型部署、推理或 GPU 集群，因为 Modelserve 会处理这些任务
- 可负担的自动扩展：系统会根据应用需求自动扩展 GPU 资源，而无需用户干预
- 具成本效益的定价：用户根据实际请求的处理时间收费，避免了与按小时租用GPU或维护自己的集群相关的费用
与其他AI/GPU项目的协同作用
Modelserve 与 GPU Provider 和 AI Provider GamerHash AI 整合，后者目前处于概念验证阶段。此外，作为 Modelserve 的一部分，首版 Golem-Workers 已被创建，并将来会作为一个独立项目进行开发。
里程碑和下一步计划
- 已与多家基于AI的初创公司和企业进行测试
- Golem 社区测试定于7月进行
- 商业化服务将于8月开始
欲了解更多详细信息，请访问Golem Project 博客。
Image source: Shutterstock