射线和AI计算框架的演变


Felix Pinkston
6月24日,2025年13:19

根据Enyscale的说法,探索射线如何解决AI框架中的计算瓶颈,因为非结构化数据和GPU要求挑战旧系统。




人工智能(AI)的快速发展给现有的计算框架带来了重大挑战,尤其是因为非结构化数据和GPU需求揭示了遗留系统的局限性。根据Enyscale的说法,非结构化数据(例如文本,图像和视频)的增长超过了传统的结构化数据,因此需要更健壮和灵活的计算框架。

向非结构化数据的转变

组织越来越多地认识到非结构化数据的价值,该数据现在超过了十倍或更多的数量。这种转变是由处理图像,音频和聊天日志(以增强用户体验和自动化过程的复杂数据类型)的需要驱动的。但是,主要关注结构化数据和SQL式工作负载的现有数据和AI基础架构努力跟上这些需求。

当前框架挑战

传统框架(例如Apache Spark)在处理非结构化数据和AI模型时有效地面临限制。 Spark以CPU为中心的架构以及对Java虚拟机(JVM)的依赖创建瓶颈,尤其是在处理处理现代AI模型所需的以GPU为中心的任务时。此外,在Python和Scala环境之间序列化数据的需求进一步阻碍了性能。

雷的崛起

为了应对这些挑战,Ray是作为AI-NATIANITE分布式计算框架开发的,旨在满足基于Python的AI工作负载的特定需求。 Ray的体系结构支持多模式数据和异质计算,从而允许CPU和GPU任务的无缝编排。这种灵活性使Ray成为希望现代化其AI基础架构的组织的重要工具。

行业采用和影响

雷的影响很大,像Uber,Spotify和Pinterest这样的主要公司采用该框架来增强其AI功能。 Ray使这些组织能够将生成AI集成到其系统中,同时优化现有的机器学习管道。该框架处理大规模,复杂的AI模型的能力已在OpenAI的GPT-3.5等备受瞩目的项目中得到了证明,强调了其革新AI计算框架的潜力。

前景

随着AI的继续发展,对可以有效管理多模式数据和复杂工作负载的框架的需求只会增加。雷的开源社区正在积极努力进一步简化各种异质群集的AI工作负载的分布式处理和编排。 Anyscale致力于使对Ray能力的访问权限,以确保AI团队可以迅速利用其权力来满足对高级AI用例的不断增长的需求。

图像来源:Shutterstock


(tagstotranslate)AI(T)加密(T)区块链(T)新闻



关键词:

射线和AI计算框架的演变
Comments (0)
Add Comment