分享
AMD RX580-ollama 显卡调用方案
输入“/”快速插入内容
AMD RX580-ollama 显卡调用方案
用户1969
用户1969
用户9133
用户9133
2025年2月22日修改
🌐
AMD-RX580 ollama+deepseek-r1模型 本地化部署方案,
附AMD系列其它显卡版本替换方案
Ollama本地化部署方案教程可参考:
关于ollama非C盘安装以及模型非C盘存放方式
当你使用 AMD 显卡在本地运行 Ollama 来处理 AI 大模型时,你可能会惊讶地发现它竟然使用的是 CPU 和内存,而非显卡的 GPU。
以往使用 NVIDIA 显卡时,安装并使用 Ollama 或 Stable Diffusion 运行 AI 模型,通常会默认调用 GPU。然而,当尝试在配备 AMD Radeon RX 580 显卡的电脑上使用 Ollama 时,却出现了上述情况。
前期准备
显卡:AMD RX580 8G
系统:window10及以上
软件准备
下载RX580的pre-built ROCm libraries
下载文件:
rocblas.for.gfx803.override.with.vega10.7z
Assets:
rocblas.for.gfx803.override.with.vega10.7z
- 5.02 MBJul - 19, 2024
Ollama-for-amd
下载文件:
0.3.2版本
Assets:
OllamaSetup.exe
-
65.4 MBAug - 2, 2024
由于部分网络环境可能无法正常访问情况,推荐使用
https://steampp.net/
加速github访问
那么,如何查看这一问题呢?主要有以下两种方法:
1.
点击系统托盘中的 Ollama 图标,选择 “View Logs”,打开 server.log 文件,从文件内容中可以看到提示 “amdgpu 不支持”。
2.
打开任务管理器,切换到 “性能” 选项卡,选择 “GPU”。在运行本地大模型并向其提问的过程中,观察 “专用 GPU 内存使用率” 这一指标,你会发现它的值并没有上升,与此同时,CPU 和内存的使用率却大幅飙升。
以下是解决方案
•
首先确认 AMD 显卡是否支持 ROCm
:访问
rocm.docs.amd.com
,查看列表中是否有你的显卡型号。如果有,并且列表后面的 HIP SDK 显示为打勾,那么直接下载并安装 AMD 官方版本的 ROCm 以及 Ollama 的官方版本即可正常使用。
•
如果显卡不在官方列表中或者 HIP SDK 为打叉
:需要重新安装 Ollama-for-amd 的版本。具体步骤如下 :
◦
访问
github.com/likelovewant/ollama-for-amd
,点击页面中的版本链接。
◦
滚动到页面最下方,下载安装程序,安装前记得先退出 Ollama。
◦
返回页面上方,点击跳转链接去下载需要替换的文件。注意,刚刚下载的 Ollama 安装程序是基于 hipsdk 6.1.2 版本创建的,所以要下载相同版本的 ROCmlibs 文件,否则会导致运行失败。
•
如果您的显卡型号
非“AMD RX580”
,
可以参考「
AMD显卡其它版本替换方法
」,下载替换对应的显卡版本文件进行后续安装就行,方法都是一样的。
•
由于本文主述显卡型号为“
AMD RX580
”,按下方教程操作即可。
操作方法:
1.
双击打开
OllamaSetup.exe
- Windows右键管理员安装,默认路径即可
2.
安装完成之后,解压文件
rocblas.for.gfx803
3.
找到软件安装目录下 Ollama 软件位置(
打开系统隐藏文件显示
)
目录如下:
代码块
Plain Text
C:\Users\usrname\AppData\Local\Programs\Ollama\rocm
4.
把刚刚解压得到的
rocblas.dll
文件 替换
5.
打开
rocblas 文件夹
替换解压后的
library 文件夹
6.
重新启动 Ollama 打开 server.log 日志文件
7.
再次查看日志,如果成功,可以看到显存总量为 8GB,使用时最大可允许使用 7.8GB左右 。此时再观察 “专用 GPU 内存使用率”,会发现它已经几乎占满,而 CPU 和内存的使用率也相对下降。