GPU
本文内容均由Ollama官方文档翻译，仅供个人学习，如有差异请以官网文档为准（https://ollama.com）ollama.cadn.net.cn
Nvidia
Ollama 支持计算能力 5.0 及以上的 NVIDIA GPU。ollama.cadn.net.cn
检查您的计算兼容性，以确认您的显卡是否受支持：
https://developer.nvidia.com/cuda-gpusollama.cadn.net.cn
| 计算能力 |
家庭 |
卡片 |
| 9.0 |
Nvidia |
H200 H100 |
| 8.9 |
GeForce RTX 40系列 |
RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti SUPER RTX 4070 Ti RTX 4070 SUPER RTX 4070 RTX 4060 Ti RTX 4060 |
|
NVIDIA 专业版 |
L4 L40 RTX 6000 |
| 8.6 |
GeForce RTX 30xx |
RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060 RTX 3050 Ti RTX 3050 |
|
NVIDIA 专业版 |
A40 RTX A6000 RTX A5000 RTX A4000 RTX A3000 RTX A2000 A10 A16 A2 |
| 8.0 |
Nvidia |
A100 A30 |
| 7.5 |
GeForce GTX/RTX |
GTX 1650 Ti TITAN RTX RTX 2080 Ti RTX 2080 RTX 2070 RTX 2060 |
|
NVIDIA 专业版 |
T4 RTX 5000 RTX 4000 RTX 3000 T2000 T1200 T1000 T600 T500 |
|
Quadro |
RTX 8000 RTX 6000 RTX 5000 RTX 4000 |
| 7.0 |
Nvidia |
TITAN V V100 Quadro GV100 |
| 6.1 |
NVIDIA TITAN |
TITAN Xp TITAN X |
|
GeForce GTX |
GTX 1080 Ti GTX 1080 GTX 1070 Ti GTX 1070 GTX 1060 GTX 1050 Ti GTX 1050 |
|
Quadro |
P6000 P5200 P4200 P3200 P5000 P4000 P3000 P2200 P2000 P1000 P620 P600 P500 P520 |
|
Tesla |
P40 P4 |
| 6.0 |
Nvidia |
Tesla P100 Quadro GP100 |
| 5.2 |
GeForce GTX |
GTX TITAN X GTX 980 Ti GTX 980 GTX 970 GTX 960 GTX 950 |
|
Quadro |
M6000 24GB M6000 M5000 M5500M M4000 M2200 M2000 M620 |
|
Tesla |
M60 M40 |
| 5.0 |
GeForce GTX |
GTX 750 Ti GTX 750 NVS 810 |
|
Quadro |
K2200 K1200 K620 M1200 M520 M5000M M4000M M3000M M2000M M1000M K620M M600M M500M |
用于本地构建以支持较旧的GPU，请参阅 developer.mdollama.cadn.net.cn
GPU选择
如果您系统中有多个 NVIDIA GPU，并希望限制 Ollama 仅使用其中一部分，可以将 CUDA_VISIBLE_DEVICES 设置为以逗号分隔的 GPU 列表。
可使用数字 ID，但其顺序可能不固定，因此 UUID 更为可靠。
您可以通过运行 nvidia-smi -L 来查看 GPU 的 UUID。如果您希望忽略 GPU 并强制使用 CPU，可使用无效的 GPU ID（例如 "-1"）。ollama.cadn.net.cn
Linux 挂起与恢复
在 Linux 系统中，经历一次挂起/恢复（suspend/resume）周期后，Ollama 有时将无法发现您的 NVIDIA GPU，从而回退至以 CPU 模式运行。您可以通过重新加载 NVIDIA UVM 驱动并传入参数 sudo rmmod nvidia_uvm &&
sudo modprobe nvidia_uvm 来规避此驱动程序缺陷。ollama.cadn.net.cn
AMD Radeon
Ollama 支持以下 AMD GPU：ollama.cadn.net.cn
Linux 支持
| 家庭 |
卡和加速器 |
| AMD Radeon RX |
7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 Vega 64 Vega 56 |
| AMD Radeon PRO |
W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 V420 V340 V320 Vega II Duo Vega II VII SSG |
| AMD Instinct |
MI300X MI300A MI300 MI250X MI250 MI210 MI200 MI100 MI60 MI50 |
Windows 支持
在 ROCm v6.1 中，以下 GPU 支持 Windows 平台。ollama.cadn.net.cn
| 家庭 |
卡和加速器 |
| AMD Radeon RX |
7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 |
| AMD Radeon PRO |
W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 |
Linux 上的覆盖配置
Ollama 利用 AMD ROCm 库，但该库并不支持所有 AMD 显卡。在某些情况下，您可以强制系统尝试使用一个相近的 LLVM 目标。例如，Radeon RX 5400 对应的目标编号为 gfx1034（也称为 10.3.4），然而 ROCm 当前并不支持此目标，其最接近的支持目标为 gfx1030。您可使用环境变量 HSA_OVERRIDE_GFX_VERSION 并采用 x.y.z 语法进行设置。例如，若需强制系统在 RX 5400 上运行，可将 HSA_OVERRIDE_GFX_VERSION="10.3.0" 设置为服务端的环境变量。若您使用的是不受支持的 AMD 显卡，可参考下方列出的支持类型进行尝试。ollama.cadn.net.cn
如果您拥有多个具有不同GFX版本的GPU，请将数字设备编号附加到环境变量中，以分别进行设置。例如，
HSA_OVERRIDE_GFX_VERSION_0=10.3.0 和 HSA_OVERRIDE_GFX_VERSION_1=11.0.0ollama.cadn.net.cn
目前，在 Linux 平台上已知支持的 GPU 类型如下 LLVM 目标。
下表列出了一些映射到这些 LLVM 目标的示例 GPU：
| LLVM 目标 | 示例 GPU |
|-----------------|---------------------|
| gfx900 | Radeon RX Vega 56 |
| gfx906 | Radeon Instinct MI50 |
| gfx908 | Radeon Instinct MI100 |
| gfx90a | Radeon Instinct MI210 |
| gfx940 | Radeon Instinct MI300 |
| gfx941 | |
| gfx942 | |
| gfx1030 | Radeon PRO V620 |
| gfx1100 | Radeon PRO W7900 |
| gfx1101 | Radeon PRO W7700 |
| gfx1102 | Radeon RX 7600 |ollama.cadn.net.cn
AMD 正在致力于增强 ROCm v6，以在未来的版本中扩大对各类 GPU 的支持，从而提升对更多 GPU 的兼容性。ollama.cadn.net.cn
通过 Discord 联系我们，或提交 问题 以获取更多帮助。ollama.cadn.net.cn
GPU选择
如果您的系统中有多块 AMD GPU，并希望限制 Ollama 仅使用其中一部分，您可以将 ROCR_VISIBLE_DEVICES 设置为以逗号分隔的 GPU 列表。
您可以使用 rocminfo 查看设备列表。如果您希望忽略 GPU 并强制使用 CPU，可使用无效的 GPU ID（例如 "-1"）。如可用，请使用 Uuid 通过唯一标识符而非数值来指定设备。ollama.cadn.net.cn
容器权限
在某些 Linux 发行版中，SELinux 可能会阻止容器访问 AMD GPU 设备。您可以在宿主机系统上运行 sudo setsebool container_use_devices=1 以允许容器使用这些设备。ollama.cadn.net.cn
Ollama 通过 Metal API 支持在 Apple 设备上的 GPU 加速。ollama.cadn.net.cn