Ollama 实现 Llama 3.2 在 AMD GPU 上的本地运行 - Blockchain.News

Ollama 实现 Llama 3.2 在 AMD GPU 上的本地运行

realtime news Sep 27, 2024 10:45

Ollama 使本地在 AMD GPU 上运行 Meta 的 Llama 3.2 模型变得更加容易，支持 Linux 和 Windows 系统。

Ollama 实现 Llama 3.2 在 AMD GPU 上的本地运行

借助 Ollama，在 AMD 系统上本地运行大型语言模型（LLM）变得更加便捷。本指南将重点介绍 Meta 于 2024 年 9 月 25 日发布的最新 Llama 3.2 模型。Meta 的 Llama 3.2 提供 1B、3B、11B 和 90B 模型，兼具小规模和多模态特性。以下是如何在各种 AMD 硬件配置上运行这些模型，并为 Radeon GPU 上的 Linux 和 Windows 操作系统提供逐步安装指南。

支持的 AMD GPU

Ollama 支持一系列的 AMD GPU，使其产品兼容新的和旧的型号。Ollama 支持的 GPU 列表可在 这里 查看。

Ollama 的安装和设置指南

Linux

  • 系统要求：
    • Ubuntu 22.04.4
    • 安装了最新 AMD ROCm™ 软件的 AMD GPU
  • 按照提供的说明安装 ROCm 6.1.3
  • 通过一条命令安装 Ollama
  • 下载并运行 Llama 3.2 模型：
    • ollama run llama3.2

Windows

  • 系统要求：
    • Windows 10 或更高版本
    • 安装了驱动程序的 AMD GPU
  • 对于 Windows 安装，从 这里 下载并安装 Ollama。安装完成后，打开 PowerShell 并运行：
    • ollama run llama3.2

您可以在 这里 找到 Ollama 提供的所有可用模型列表。

结论

Ollama 对 AMD GPU 的广泛支持展示了本地运行 LLM 的日益普及。从消费级的 AMD Radeon™ RX 显卡到高端的 AMD Instinct™ 加速器，用户拥有多种选择可以在自己的硬件上运行像 Llama 3.2 这样的模型。这种灵活的方法使得各个领域的 AI 应用能够进行更多的实验、隐私保护和自定义。

Image source: Shutterstock