王王
2025年6月17日11:09
NVIDIA引入了高级LLMOPS策略，以应对大型语言模型部署中的挑战，重点介绍微调，评估和持续改进，这与AMDOC合作所证明。
大型语言模型（LLM）纳入生产系统已经彻底改变了各个行业，但它带来了独特的挑战。 Nvidia表示，NVIDIA在LLMOPS或大型语言模型操作方面的最新进步旨在解决这些复杂性。
了解LLMOPS的挑战
LLMOPS建立在传统的机器学习操作（MLOPS）的基础上，以管理LLM的整个生命周期，从数据准备到部署和持续改进。主要挑战包括管理微调管道，大规模评估模型以及确保有效的推理服务。这些过程涉及精心策划大型模型，跟踪实验以及在各种硬件配置中优化性能。
实践中的创新解决方案
电信解决方案提供商Amdocs已实施了一条强大的LLMOPS管道，利用了NVIDIA的AI蓝图和Nemo Microservices。这种方法通过自动化微调和评估过程来解决运营挑战，从而加速了AI计划。云本地的GITOPS策略允许自动管理LLM生命周期阶段，并无缝集成到AMDOCS的CI/CD管道中。
Gitops和Nemo微服务
NVIDIA NEMO微服务促进了LLM的连续改进周期，通常被视为“企业AI飞轮”。该框架强调了迭代开发，其中已部署模型的见解和新数据不断增强LLM功能。 Gitops的集成确保所有配置和工作流定义都是版本控制的，从而使LLM管道的可重复性和有效管理。
案例研究：Amdocs的Amaiz平台
在AMDOCS的AMAIZ平台中，基于Gitops的LLMOPS Strategy将NVIDIA的AI蓝图整合到简化工作流程。这种设置允许使用NVIDIA的NEMO Services和DGX Cloud Infrstructure的组合来快速评估和回归测试。该管道可以自动化模型的部署，并协调复杂的任务，例如模型进行微调和评估，确保稳健的性能并遵守业务需求。
结果和影响
实施这些策略已显示模型性能的显着改善。回归测试表明，微调模型保留核心功能，同时在特定任务中获得更高的准确性。例如，洛拉（Lora-Fine）模型的精度为0.83，表现优于基本模型。自定义LLM-AS-A-A-Gudge评估的使用进一步增强了评估过程，从而确保了模型满足特定领域的需求。
结论
NVIDIA在LLMOPS与AMDOC的合作证明，在LLMOPS中的进步为管理生产中的LLM提供了全面的框架。通过利用NVIDIA AI蓝图和NEMO微服务，组织可以建立强大的自动化管道，该管道解决了以大规模部署LLM的复杂性，为AI-priendion操作的持续改进和创新铺平了道路。
图像来源：Shutterstock
（tagstotranslate）AI（T）加密（T）区块链（T）新闻
关键词：