AMD 推出 OLMo：开源语言模型的新时代

Advanced Micro Devices (AMD) 宣布发布其首款开源语言模型 OLMo，该模型具有 10 亿个参数。 AMD 表示，这一举措标志着 AMD 在通过开源资源推动人工智能 (AI) 技术进步方面迈出了重要一步。

赋能人工智能发展

AMD OLMo的推出旨在为研究人员和开发人员提供强大的工具来预训练和微调AI模型，以满足特定的行业需求。 AMD 希望通过开源这些模型来鼓励创新和定制，让用户能够根据独特的应用程序定制人工智能解决方案。随着各个行业对专业人工智能解决方案的需求不断增长，这种方法尤其有价值。

技术规格和培训

AMD OLMo 模型在 AMD Instinct™ MI250 GPU 上使用 1.3 万亿个令牌进行预训练，分布在 16 个节点上。这些模型包括三个检查点，每个检查点代表不同的训练阶段。此设置旨在保持性能，同时优化计算资源。该模型还配备了两阶段监督微调和 DPO 对齐，以增强推理和聊天能力。

性能与比较

在基准测试中，AMD OLMo 模型表现出与其他类似规模的开源模型（例如 TinyLLaMA 和 MobiLLaMA）相比具有竞争力的性能。这些比较突显了 OLMo 的一般推理和聊天功能的能力，同时保持负责任的人工智能标准。

开源承诺

AMD 开源 OLMo 模型的决定强调了其对人工智能社区的承诺。通过提供训练数据、模型权重和代码的访问权限，AMD 旨在促进人工智能研究领域的进一步创新和协作。此举预计将利用 Ryzen AI 处理器等 AMD 硬件解决方案的功能，激发 AI 技术的新开发和应用。

AMD 继续通过发布新的 AI 模型来支持开源社区，并预计该领域的协作努力将取得令人兴奋的进步。

图片来源：Shutterstock