Ollama 允许在 AMD GPU 上本地运行 Llama 3.2

得益于 Ollama，在 AMD 系统上本地运行大型语言模型 (LLM) 变得更加容易。本指南将重点介绍 Meta 于 2024 年 9 月 25 日发布的最新 Llama 3.2 型号。Meta 的 Llama 3.2 具有小型和多模式功能，包括 1B、3B、11B 和 90B 型号。以下介绍了如何在各种 AMD 硬件配置上运行这些模型，以及在 Radeon GPU 上的 Linux 和 Windows 操作系统上运行 Ollama 的分步安装指南。

支持的 AMD GPU

Ollama 支持一系列 AMD GPU，使其产品能够在新旧型号上运行。 Ollama 支持的 GPU 列表可在此处获取。

Ollama 安装和设置指南

Linux

• 系统要求：
  • 乌班图22.04.4
  • 安装了最新 AMD ROCm™ 软件的 AMD GPU
• 按照提供的说明安装 ROCm 6.1.3
• 通过单个命令安装 Ollama

• 下载并运行 Llama 3.2 模型：

视窗

• 系统要求：
  • Windows 10 或更高版本
  • 安装了驱动程序的支持的 AMD GPU
• 对于 Windows 安装，请从此处下载并安装 Ollama。安装后，打开 PowerShell 并运行：

您可以在此处找到 Ollama 所有可用型号的列表。

结论

Ollama 对 AMD GPU 的广泛支持表明本地运行 LLM 的可及性不断提高。从消费级 AMD Radeon™ RX 显卡到高端 AMD Instinct™ 加速器，用户有多种选择可以在自己的硬件上运行 Llama 3.2 等模型。这种灵活的方法可以在广泛的人工智能组合中实现创新的法学硕士，从而可以在各个领域的人工智能应用程序中进行更多的实验、隐私和定制。

图片来源：Shutterstock