AMD Ryzen AI 300 系列增强了消费类应用中的 Llama.cpp 性能

AMD 在 AI 处理方面的最新进展 Ryzen AI 300 系列在增强语言模型的性能方面取得了重大进展，特别是通过流行的 Llama.cpp 框架。 AMD 的社区帖子称，这一开发旨在改进 LM Studio 等消费者友好型应用程序，使人工智能更容易使用，而无需高级编码技能。

利用 Ryzen AI 提升性能

AMD Ryzen AI 300 系列处理器（包括 Ryzen AI 9 HX 375）提供了令人印象深刻的性能指标，优于竞争对手。 AMD 处理器在每秒令牌数方面的性能提高了 27%，这是衡量语言模型输出速度的关键指标。此外，“首次令牌时间”指标（表示延迟）显示 AMD 处理器的速度比同类型号快 3.5 倍。

利用可变图形内存

AMD 的可变图形内存 (VGM) 功能可通过扩展集成图形处理单元 (iGPU) 的可用内存分配来显着增强性能。此功能对于内存敏感型应用程序尤其有利，与 iGPU 加速结合使用时，性能可提升高达 60%。

使用 Vulkan API 优化 AI 工作负载

LM Studio 利用 Llama.cpp 框架，受益于使用与供应商无关的 Vulkan API 的 GPU 加速。这使得某些语言模型的性能平均提高了 31%，凸显了消费级硬件上增强 AI 工作负载的潜力。

对比分析

在竞争性基准测试中，AMD Ryzen AI 9 HX 375 的性能优于竞争对手处理器，在 Microsoft Phi 3.1 等特定 AI 模型中实现了 8.7% 的性能提升，在 Mistral 7b Instruct 0.3 中实现了 13% 的性能提升。这些结果强调了处理器有效处理复杂人工智能任务的能力。

这些进步充分体现了 AMD 对让 AI 技术变得触手可及的持续承诺。通过集成 VGM 等复杂功能和 Llama.cpp 等支持框架，AMD 正在增强 x86 笔记本电脑上人工智能应用程序的用户体验，为消费者市场更广泛地采用人工智能铺平道路。

图片来源：Shutterstock