Anyscale 和 Astronomer 合作提升可扩展机器学习
realtime news Oct 29, 2024 18:22
Anyscale 与 Astronomer 合作，利用 Apache Airflow 和 Ray 简化机器学习工作流程，提高数据团队的可扩展性和效率。
在机器学习 (ML) 和人工智能 (AI) 领域的一项重要发展中，Anyscale 和 Astronomer 宣布了一项合作，旨在简化可扩展的 ML 工作流程。根据 Anyscale 的说法，此次合作利用了两家公司各自的优势，为管理复杂的分布式数据环境提供了强化的解决方案。
结合专业知识增强 ML 工作流程
以其 AI 计算引擎 Ray 而闻名的 Anyscale 提供了一个用于部署和扩展 Ray 集群的平台，简化了计算任务的分发。而 Astronomer 则是一个由 Apache Airflow 提供支持的数据编排平台的领导者。此次合作使组织能够通过将 Astronomer 的工作流程管理功能与 Anyscale 的分布式计算能力相结合，有效管理和扩展其 ML 工作流程。
通过将 Ray 的分布式计算能力集成到 Airflow 的生态系统中，用户可以实现无缝的可扩展性和效率，从而解决 ML 环境中对强大数据处理框架的日益增长的需求。
核心技术：Apache Airflow 和 Ray
此次合作基于两项关键技术：Apache Airflow 和 Ray。Apache Airflow 是一个广泛采用的框架，用于调度和编排复杂的工作流程，使数据团队能够有效地自动化和扩展流程。而 Ray 是一个开源的 AI 计算引擎，专为可扩展的分布式计算而设计，非常适合需要大量计算资源的任务，如训练大型语言模型（LLMs）。
整合这些技术使组织能够高效处理大规模 ML 任务，确保在数据生命周期的各个阶段可靠执行和优化资源利用。
利用 Anyscale 和 Astronomer 的供给
对于已经使用 Apache Airflow 的团队来说，Anyscale 与 Astronomer 平台的集成提供了一种简化的方法，将分布式计算能力整合到现有工作流程中。Anyscale 提供的 RayTurbo 增强了 Airflow 的工作流程，实现了更快的节点自动扩展和降低成本，受益于例如 spot instance 支持等功能。
同样，Ray 提供程序允许数据团队在 Airflow 中利用 Ray 的并行处理能力，便于在不离开熟悉环境的情况下高效处理大型 ML 任务。
可扩展机器学习的未来
Anyscale 和 Astronomer 之间的合作代表了在构建可扩展、高效的 ML 基础设施方面向前迈出的重要一步。通过结合 Anyscale 强大的计算能力和 Astronomer 的编排专业知识，组织可以专注于创新和模型部署，而无需承受管理复杂分布式系统的负担。
这种集成有望加速 ML 模型的开发和部署，提供无缝的可扩展性、端到端的工作流程管理，以及 AI 项目的优化资源利用。
Image source: Shutterstock