乔格·希勒（Joerg Hiller）
2025年8月28日01:23
NVIDIA揭示了使用Nemo Agent Toolkit进行性能优化的langgraph AI代理来容纳多达1,000个用户的策略。
正如Nvidia报道的那样，在最近对AI部署可伸缩性的探索中，NVIDIA探讨了将AI代理商从单个用户缩放到1000名同事的挑战和解决方案。这项计划对于旨在有效利用大型团队中的AI工具的组织尤其重要。
确保可伸缩性和安全性
对安全可扩展的AI应用程序的需求正在增长，尤其是在处理机密信息时。 NVIDIA使用开源蓝图来解决此问题，用于部署内部深入研究应用程序。该蓝图是NVIDIA内部部署研究助理的基础，该研究助理旨在安全地处理广泛的数据和用户互动。
分析和优化技术
扩展AI应用程序的主要挑战之一是了解每个应用程序的独特要求。 NVIDIA利用Nemo代理工具包评估和介绍其AI代理，从而洞悉潜在的瓶颈并优化单用户场景的性能。在扩展应用程序以处理多个用户之前，此步骤至关重要。
利用Nemo代理工具包
该工具包提供了一个分析系统，该系统有助于收集有关应用程序行为的数据，从而使NVIDIA可以有效地优化其AI代理。通过分析各种用户输入，NVIDIA确保他们的应用程序可以顺利处理多样化的用户交互。
多用户方案的负载测试
在单用户优化之后，NVIDIA进行了负载测试，以确定体系结构支持数百个用户的能力。这些测试涉及以各种并发级别运行应用程序，以确定硬件和软件配置的必要调整。
预测硬件需求
这些测试的数据使NVIDIA可以预测支持200个并发用户的硬件要求。通过了解其现有基础设施的局限性和能力，他们可以计划有效的可伸缩性。
监视和持续改进
随着AI代理的缩放，持续的监测至关重要。 NVIDIA采用Nemo Agent Toolkit的OpentElemetry集成来跟踪性能指标和用户会话跟踪。这种连续的观察有助于确定性能问题并进一步优化系统。
通过这些策略，NVIDIA成功地扩大了其AI代理，确保了其团队的良好表现和效率。他们的方法是希望安全有效地扩展其AI功能的其他组织的宝贵模型。
图像来源：Shutterstock
（tagstotranslate）AI（T）加密（T）区块链（T）新闻
关键词：
