AMD Radeon PRO GPU 和 ROCm 软件扩展了 LLM 推理功能

据 AMD.com 报道，AMD 宣布其 Radeon PRO GPU 和 ROCm 软件取得了进展，使小型企业能够利用大型语言模型 (LLM)，如 Meta 的 Llama 2 和 3，包括新发布的 Llama 3.1。

面向小型企业的新功能

AMD 的 Radeon PRO W7900 双插槽 GPU 配备专用 AI 加速器和大量板载内存，可提供市场领先的性价比，使小公司能够在本地运行自定义 AI 工具。这包括聊天机器人、技术文档检索和个性化销售宣传等应用程序。专门的 Code Llama 模型进一步使程序员能够为新数字产品生成和优化代码。

AMD 开放软件堆栈的最新版本 ROCm 6.1.3 支持在多个 Radeon PRO GPU 上运行 AI 工具。这一增强功能使中小型企业 (SME) 能够处理更大、更复杂的 LLM，同时支持更多用户。

扩大法学硕士 (LLM) 的使用案例

虽然人工智能技术已经在数据分析、计算机视觉和生成设计领域广泛应用，但人工智能的潜在用例远远超出了这些领域。像 Meta 的 Code Llama 这样的专业 LLM 使应用程序开发人员和网页设计师能够从简单的文本提示中生成工作代码或调试现有代码库。母模型 Llama 在客户服务、信息检索和产品个性化方面提供了广泛的应用。

小型企业可以利用检索增强生成 (RAG) 让 AI 模型了解其内部数据，例如产品文档或客户记录。这种定制可产生更准确的 AI 生成输出，而无需手动编辑。

本地托管优势

尽管有基于云的 AI 服务，但 LLM 的本地托管仍具有显著的优势：

• 数据安全： 在本地运行 AI 模型无需将敏感数据上传到云端，从而解决了数据共享的主要问题。
• 更低的延迟： 本地托管可减少延迟，并在聊天机器人和实时支持等应用程序中提供即时反馈。
• 控制任务： 本地部署使技术人员无需依赖远程服务提供商即可排除故障并更新 AI 工具。
• 沙盒环境： 本地工作站可以作为全面部署之前原型设计和测试新 AI 工具的沙盒环境。

AMD 的 AI 性能

对于中小企业来说，托管定制 AI 工具并不需要复杂或昂贵。LM Studio 等应用程序有助于在标准 Windows 笔记本电脑和台式机系统上运行 LLM。LM Studio 经过优化，可通过 HIP 运行时 API 在 AMD GPU 上运行，利用当前 AMD 显卡中的专用 AI 加速器来提高性能。

32GB Radeon PRO W7800 和 48GB Radeon PRO W7900 等专业 GPU 可提供足够的内存来运行更大的模型，例如 300 亿参数的 Llama-2-30B-Q8。ROCm 6.1.3 引入了对多个 Radeon PRO GPU 的支持，使企业能够部署具有多个 GPU 的系统来同时满足众多用户的请求。

使用 Llama 2 进行的性能测试表明，与 NVIDIA 的 RTX 6000 Ada Generation 相比，Radeon PRO W7900 的性价比高出 38%，对于中小企业来说是一种经济高效的解决方案。

随着 AMD 硬件和软件功能的不断发展，即使是小型企业现在也可以部署和定制 LLM 来增强各种业务和编码任务，避免将敏感数据上传到云端。

图片来源：Shutterstock