劳伦斯·詹格（Lawrence Jengar）
7月23日，2025年04:12
NVIDIA引入了一种有效的方法，可以使用NEMO框架在一个周末训练具有推理能力的语言模型，从而利用Llama Nemotron数据集和Lora适配器。
Nvidia推出了一种开创性的方法，可以在一个周末使用其NEMO框架和Llama Nemotron数据集训练具有推理能力的语言模型。根据NVIDIA开发人员博客，此创新过程使开发人员可以在大约48小时内在单个GPU上建立有效的推理模型。
革命性的推理模型
推理语言模型的出现标志着AI功能的重大转变，尤其是在需要数学和编码等批判性思维的任务中。 NVIDIA的Llama Nemotron模型专为高性能推理而设计，是这种转换的最前沿，提供了动态推理模式，可以在标准聊天和高级推理之间切换，并为复杂的任务优化资源使用。
通过开放数据集授权开发人员
NVIDIA开源了其大部分Llama Nemotron后培训数据集，其中包括数学，编码和科学等领域的3200万个样本。该数据集对于有渴望训练自己的模型的开发人员的功能类似于Llama Nemotron。
培训方法
培训过程涉及数据策展，微调和评估。建议开发人员策划数据集的集中子集，强调推理，并使用具有至少80亿参数的模型进行有效培训。该过程还突出了参数有效的微调（PEFT）与Lora适配器的使用，从而可以在单个NVIDIA H100 GPU上进行训练。
评估和结果
使用标准基准（例如MMLU和GPQA）评估训练后的模型。 NVIDIA报告说，其训练有素的LORA适配器在各种基准测试中的基础指导模型都优于基本指导模型，这表明推理任务有了显着改进。
这种方法不仅简化了培训过程，而且还使对强大的AI工具的访问权力使开发人员能够创建具有增强的推理能力的领域模型。
图像来源：Shutterstock
（tagstotranslate）AI（T）加密（T）区块链（T）新闻
关键词：