The news is by your side.

NVIDIA使用DPU增强的Kubernetes服务代理来增强AI工厂

7


卡罗琳·毕晓普(Caroline Bishop)
7月7日,2025年14:52

NVIDIA通过NVIDIA的AI Clouds提高了Kubernetes的DPU加速服务代理AI应用程序,从而提高了性能,效率和安全性。




随着人工智能(AI)的景观不断发展,Nvidia正在使用其数据处理单元(DPU)加速kubernetes的服务代理为更高效的AI工厂铺平道路。根据NVIDIA的说法,这项创新旨在简化复杂的AI工作流程的部署,从而提高性能和运营效率。

增强的AI应用程序部署

AI应用程序已经变得越来越复杂,从基本模型培训过渡到高级计划和推理任务。这种演变需要一个能够支持代理AI应用程序的强大基础架构。 NVIDIA的解决方案涉及由NVIDIA Bluefield-3 DPU供电的软件定义的,硬件加速的应用程序输送控制器(ADC)。此设置允许动态负载平衡,稳健的安全性和有效的云本地多租户。

自2022年推出OpenAI的Chatgpt以来,AI已从基于GPU的简单模型培训扩展到分布式推论技术。现在,大型语言模型(LLMS)现在整合了企业数据并采用诸如DeepSeek R1之类的推理模型来解决复杂问题。 NVIDIA的数字人类蓝图体现了这一进步,利用容器的NVIDIA推理微服务(NIM)创建了凝聚力的代理工作流程。

优化AI操作

BlueField-3 DPU在优化AI云中的数据移动方面起着至关重要的作用。通过将高性能加速发动机与有效的ARM计算芯相结合,Bluefield提高了性能和灵活性,这对于编程代理AI数据流至关重要。 NVIDIA的主权AI云运营商的参考体系结构强调了Bluefield在管理North-South网络用于GPU集群中的重要性。

F5 Big-IP接下来是Kubernetes

F5的Big-IP接下来是Kubernetes(Bink)ADC,当由Bluefield-3加速时,为AI云提供了必要的基础架构优化。该解决方案提供了高性能网络,零值得的安全性和有效的资源利用率。 Bink的功能对云本地的多租户特别有益,从而使GPU资源管理有效而无需过度配置。

此外,Bink通过将数据路径从主机CPU卸载到Bluefield的强力臂芯,从而提高了能源效率,从而提高了网络能源效率。

案例研究:软银

超级计算领导者软银在NVIDIA H100 GPU群集上使用Bink进行了概念证明(POC)。结果表明网络性能和资源利用率有了显着改善。 Bink在没有CPU核心消耗的情况下实现了77 Gbps的吞吐量,其表现明显优于Nginx(例如Nginx),它消耗了30个宿主内核,用于较低的吞吐量。

就延迟而言,与Nginx相比,由Bluefield驱动的Bink减少了HTTP的响应时间11倍。此外,蓝场加速的Bink的CPU利用率降低了99%,网络能源效率提高了190倍。

结论

NVIDIA和F5之间的合作标志着AI基础架构的显着进步,提供了提高的性能,安全性和效率。软银的POC结果强调了通过DPU卸载和加速应用程序交付的潜力,将AI工厂定位为满足当代AI工作量的严格需求。

有关这些功能的详细探索,请参阅NVIDIA博客。

图像来源:Shutterstock


(tagstotranslate)AI(T)加密(T)区块链(T)新闻



关键词: