Windows 使用 Docker + WSL2 部署 Ollama（AMD 显卡推理）搭建手册
Windows 使用 Docker + WSL2 部署 Ollama（AMD 显卡推理）搭建手册
手册目标
在 Windows 11 上通过 Docker + WSL2 调用 AMD 显卡运行 Ollama 推理服务。
实现 低延迟、高性能的本地模型推理，同时不影响 Windows 正常使用。
标记为搭建过程中遇到的很重要问题！！
一、系统要求与准备工作
硬件要求
- ✅ AMD RX 6000/7000系列显卡（需支持ROCm 5.7+）
- ✅ 内存 ≥16GB（建议为WSL2分配≥8GB）
- ✅ 存储空间 ≥20GB
软件要求
- 🖥️ Windows 11 22H2或更高版本
- 🔗 AMD显卡驱动下载
二、环境配置流程
1. 启用WSL2
以管理员身份打开 PowerShell，运行：
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
重启计算机。
2 设置 WSL2 为默认版本
wsl --set-default-version 2
3. 安装 Ubuntu 22.04
打开 Microsoft Store，搜索并安装 Ubuntu 22.04 LTS。
启动 Ubuntu，设置用户名和密码。
也可以通过wsl --install XXX安装，但是需要注意版本，后续的显卡驱动需要与之对应！
目前发现仅 ROCm 6.1.3 版本对应的AMD 显卡 Linux 驱动（修订号 24.10.3）仓库中包含了 WSL2 支持所需的 两个 deb 包：hsa-runtime-rocr4wsl-amdgpu 和 rocminfo4wsl-amdgpu，前者为 AMD 实现的异构系统架构（Heterogeneous System Architecture，HSA）运行时，也称 ROCm 运行时（ROCR），提供直接利用 AMD 显卡计算能力的用户态 API。后者为 rocminfo 工具，用于报告系统信息，可枚举工作 ROCm 栈中的 GPU 代理（agents）。
**如果后续安装PyTorch需要将驱动提供的 libhas-runtime64.so（/opt/rocm/lib/libhsa-runtime64.so） 替换掉 torch 中自带的同名文件（/torch/lib/libhsa-runtime64.so），否则会在调用显卡时报错 RuntimeError: No HIP GPUs are available **
== 也就是说 其他版本可能会导致WSL2检测不到AMD显卡 ==
三、安装 Docker Desktop 并集成 WSL2
1. 下载并安装 Docker Desktop
访问 Docker 官网 下载安装包。
安装时勾选 Enable WSL 2-based engine 和 Integrate with Windows Subsystem for Linux。
2. 配置 Docker 使用 WSL2
打开 Docker Desktop 设置，进入 Resources → WSL Integration：
启用 Enable integration with my default WSL distro。
选择已安装的 Ubuntu 22.04。
四、配置 AMD 显卡驱动与 ROCm
1. 在 WSL2 中安装 ROCm
== 注意驱动版本 ==
在 Ubuntu 终端中运行：
sudo apt update
wget https://repo.radeon.com/amdgpu-install/6.1.3/ubuntu/jammy/amdgpu-install_6.1.60103-1_all.deb
sudo apt install ./amdgpu-install_6.1.60103-1_all.deb
2. 验证 GPU 识别
== 如果rocminfo 命令不存在，或没有返回信息，需要检查驱动版本（24.10.3）==
rocminfo # 应输出显卡型号（如 gfx1100）
五、构建并运行 Ollama Docker 容器
1. 创建 Dockerfile
在 Ubuntu 中新建目录并创建 Dockerfile：
mkdir ollama-amd && cd ollama-amd
nano Dockerfile
输入以下内容：
FROM ubuntu:22.04
RUN apt update && apt install -y curl
RUN curl -fsSL https://ollama.ai/install.sh | sh
EXPOSE 11434
CMD ["ollama", "serve"]
2. 构建镜像
docker build -t ollama-amd
3. 启动容器并映射 GPU
docker run -d
--name ollama
--gpus=all
--device=/dev/kfd
--device=/dev/dri
-p 11434:11434
ollama-amd
六、验证服务与性能测试
1. 检查容器状态
docker logs ollama # 应显示 "Listening on 0.0.0.0:11434"
2. 在 Windows 中调用推理服务
安装 Python 并运行以下脚本：
import requests
response = requests.post(
"http://localhost:11434/api/generate",
json={"model": "llama2", "prompt": "Hello, how are you?"}
)
print(response.text)
3. 性能测试（RX 7900 XTX）
| 模型 | 推理速度 (tokens/s) | 显存占用 |
|---|---|---|
| Llama2-7B | 28 | 20GB |
| CodeLlama-34B | 9 | 24GB |
七、优化配置
1. 调整 WSL2 内存限制
在 Windows 用户目录创建 .wslconfig 文件：
memory=16GB # 分配 16GB 内存给 WSL2
processors=8 # 分配 8 个 CPU 核心
2. 启用混合精度推理
docker exec -it ollama ollama run llama2 --gpu-layers 32 --precision fp16
八、常见问题解答
Q1：ROCm 安装失败，提示依赖错误
解决：更新系统并重试：
sudo apt update && sudo apt upgrade -y
Q2：容器启动报错 Failed to initialize GPU
解决：检查显卡驱动是否支持 ROCm 5.7，并重新绑定设备：
docker run ... --device=/dev/dri/renderD128 # 添加此参数
总结
通过本手册，您已成功在 Windows 上部署了基于 AMD 显卡的 Ollama 推理服务，并实现了：
- GPU 加速推理：接近原生 Linux 性能。
- 无缝开发体验：在 Windows 中直接调用 localhost:11434 进行模型测试。
- 资源隔离：WSL2 容器与 Windows 系统资源互不影响。
附：操作流程图
Windows 11
│
├─ WSL2 (Ubuntu 22.04)
│ ├─ Docker Engine
│ │ └─ Ollama 容器（绑定 AMD 显卡）
│ └─ ROCm 5.7
│
└─ 本地应用（Python/Postman）
└─ 调用 http://localhost:11434
WSL命令：
wsl --list
wsl --list --verbose
wsl --install xxx # 不指定版本会安装最新的
#删除子系统
wsl --shutdown # 强制关闭所有正在运行的子系统 :ml-citation{ref="1,5" data="citationList"}
wsl --list --verbose # 确认子系统状态为 "Stopped" :ml-citation{ref="1,2" data="citationList"}
wsl --unregister <子系统名称> # 例如：wsl --unregister Ubuntu-24.04 :ml-citation{ref="1,2" data="citationList"}
#删除 AppDataLocalPackages<子系统文件夹> 下文件
启动 WSL：
wsl：不带参数时，将启动默认的 Linux 发行版。
wsl -d ：指定要启动的 Linux 发行版名称。
列出 Linux 发行版：
wsl --list 或 wsl -l：列出所有已安装的 Linux 发行版。
wsl --list --online 或 wsl -l -o：列出可以从 Microsoft Store 安装的在线 Linux 发行版。
wsl --list --verbose 或 wsl -l -v：显示详细的发行版列表，包括发行版的状态和使用的 WSL 版本（1 或 2）。
设置默认的 Linux 发行版：
wsl --setdefault ：设置指定的 Linux 发行版为默认启动项。
卸载 Linux 发行版：
wsl --unregister ：卸载指定的 Linux 发行版。
更新 WSL：
WSL 的更新通常通过 Windows 更新或 Microsoft Store 来完成。
检查 WSL 状态：
可以通过运行 wsl 命令并观察输出，或者查看 Windows 功能列表中的 WSL 相关项来检查 WSL 是否已正确安装和配置。
跨系统文件访问：
WSL 允许在 Windows 和 Linux 文件系统之间访问文件，但出于性能考虑，建议将文件存储在 WSL 文件系统中。
运行 Linux GUI 应用：
WSL 2 支持运行 Linux GUI 应用程序（如 X11 和 Wayland 应用），但这通常需要额外的配置，如安装 X 服务器软件（如 VcXsrv、Xming 或 Windows 自带的 WSLg）。1
