路易莎·克劳福德
2024 年 9 月 28 日 07:13
AMD 推出了首款小语言模型 AMD-135M，具有推测解码功能，可提高 AI 模型的效率和性能。
作为人工智能领域的一项重大发展，AMD 宣布发布其首款小语言模型 (SLM) AMD-135M。据 AMD.com 称，这种新模型旨在提供专门的功能，同时解决 GPT-4 和 Llama 等大型语言模型 (LLM) 面临的一些限制。
AMD-135M：第一个 AMD 小语言模型
AMD-135M 属于 Llama 系列，是 AMD 在 SLM 领域的开创性成果。该模型是使用 AMD Instinct™ MI250 加速器和 6700 亿个代币从头开始训练的。训练过程产生了两个不同的模型：AMD-Llama-135M 和 AMD-Llama-135M-code。前者使用通用数据进行预训练，而后者则使用额外的 200 亿个专门针对代码数据的代币进行微调。
预训练：AMD-Llama-135M 使用四个 MI250 节点进行了六天的训练。以代码为中心的变体 AMD-Llama-135M-code 需要额外四天的时间进行微调。
所有相关的训练代码、数据集和模型权重都是开源的，使开发人员能够重现模型并为其他 SLM 和 LLM 的训练做出贡献。
通过推测解码进行优化
AMD-135M 的显着进步之一是推测解码的使用。大型语言模型中的传统自回归方法通常会遇到内存访问效率低的问题，因为每个前向传递仅生成一个令牌。推测解码通过采用小型草稿模型来生成候选标记来解决此问题，然后由更大的目标模型进行验证。该方法允许每次前向传递生成多个令牌，显着提高内存访问效率和推理速度。
推理性能加速
AMD 已在各种硬件配置（包括 MI250 加速器和 Ryzen™ AI 处理器）上测试了 AMD-Llama-135M-code 作为 CodeLlama-7b 草案模型的性能。结果表明，当采用推测解码时，推理性能显着加快。此增强功能为选定的 AMD 平台上的训练和推理建立了端到端工作流程。
下一步
AMD 旨在通过提供开源参考实现来促进人工智能社区的创新。该公司鼓励开发人员探索人工智能技术的这一新领域并为其做出贡献。
有关 AMD-135M 的更多详细信息，请访问 AMD.com 上的完整技术博客。
图片来源：Shutterstock
关键词：人工智能,加密,区块链,新闻
