Anyscale 和 Astronomer 合作增强可扩展的机器学习

在机器学习 (ML) 和人工智能 (AI) 领域的重大发展中，Anyscale 和 Astronomer 宣布开展合作，旨在简化可扩展的 ML 工作流程。据 Anyscale 称，这种合作关系利用了两家公司的优势，为管理复杂的分布式数据环境提供增强的解决方案。

结合专业知识增强 ML 工作流程

Anyscale 以其 AI 计算引擎 Ray 而闻名，提供了一个用于部署和扩展 Ray 集群的平台，从而简化了计算任务的分配。另一方面，Astronomer 是由 Apache Airflow 提供支持的领先数据编排平台。这种合作关系使组织能够通过将 Astronomer 的工作流程管理功能与 Anyscale 的分布式计算能力集成来有效管理和扩展其 ML 工作流程。

通过将 Ray 的分布式计算能力集成到 Airflow 的生态系统中，用户可以实现无缝的可扩展性和效率，满足 ML 环境中对强大数据处理框架日益增长的需求。

核心技术：Apache Airflow 和 Ray

此次合作取决于两项关键技术：Apache Airflow 和 Ray。 Apache Airflow 是一种广泛采用的框架，用于调度和编排复杂的工作流程，使数据团队能够有效地自动化和扩展流程。 Ray 是一款开源 AI 计算引擎，专为可扩展的分布式计算而设计，非常适合需要大量计算资源的任务，例如训练大型语言模型 (LLM)。

集成这些技术使组织能够有效地处理大规模机器学习任务，确保数据生命周期各个阶段的可靠执行和优化资源利用。

利用 Anyscale 和天文学家的提供商

对于已经使用 Apache Airflow 的团队来说，Anyscale 与 Astronomer 平台的集成提供了一种将分布式计算功能整合到现有工作流程中的简化方法。 Anyscale 提供商以 RayTurbo 为特色，借助现货实例支持等功能，通过更快的节点自动扩展和降低成本来增强 Airflow 工作流程。

同样，Ray 提供程序允许数据团队在 Airflow 中利用 Ray 的并行处理功能，从而在不脱离熟悉的环境的情况下促进大型 ML 任务的高效处理。

可扩展机器学习的未来

Anyscale 和 Astronomer 之间的合作代表着在构建可扩展、高效的机器学习基础设施方面向前迈出了重要一步。通过将 Anyscale 强大的计算能力与 Astronomer 的编排专业知识相结合，组织可以专注于创新和模型部署，而无需承担管理复杂分布式系统的负担。

这种集成有望加速机器学习模型的开发和部署，为人工智能计划提供无缝可扩展性、端到端工作流程管理和优化资源利用。

图片来源：Shutterstock