王王
2025年10月6日06:01
NVIDIA和IBM合作，将GPU本地Velox与NVIDIA CUDF集成，从而在Presto和Apache Spark等平台上增强了数据分析性能。
随着数据驱动的需求的增长，NVIDIA和IBM通过将GPU-Native Velox与NVIDIA CUDF整合在一起，以增强数据分析能力。根据NVIDIA的数据，这项合作旨在通过利用GPU的高内存带宽和线程计数来对基于CPU的系统进行重大的性能改进。这些增强功能特别有益于计算涉及多个连接，复杂聚合和弦处理的重量工作负载。
Velox和Cudf：强大的组合
将NVIDIA CUDF集成到Velox执行引擎中，可以在Presto和Apache Spark等广泛使用的平台上进行GPU本地查询执行。这个开放的项目旨在解决性能瓶颈，从而实现大量数据集的实时见解。 Velox充当中介，将Presto和Spark等系统的查询计划转化为CUDF驱动的可执行GPU管道。
加速使用GPU功率
通过将整个Presto查询计划移至GPU，该集成旨在显着提高执行速度。对GPU运营商（例如Tablescan，Hashjoin和Hashaggregations）的增强功能，可以在Presto中端到端的GPU执行。最初的基准测试表现出令人印象深刻的运行时，NVIDIA GPU的PRESTO的运行时间明显低于CPU对应物。
多GPU执行以提高性能
该协作介绍了一个基于UCX的交换运算符，该操作员支持GPU的整个执行管道，利用高带宽NVLink和ROCE或INFINIBAND进行连接。这种设置允许大量的性能提高，Presto在GPU上展示了数据交换过程中超过六倍的速度。
Apache Spark中的混合执行
在Apache Spark中，与Apache面筋和CUDF的集成着重于将计算密集型查询阶段卸载到GPU，从而优化了混合簇中的资源使用。该策略允许在维持其他任务的CPU可用性的同时有效利用GPU资源，从而大大提高性能。
社区参与和未来的前景
该项目的开源性质鼓励社区参与，旨在推动整个数据处理生态系统的进一步创新。通过在Velox中实施可重复使用的GPU运营商，该协作旨在减少重复和简化维护，同时加速各种系统。
图像来源：Shutterstock
（tagstotranslate）AI（T）加密（T）区块链（T）新闻
关键词：