【linux】Ollama 服务无法使用GPU的原因
在推理时使用Ollama ps 即可查看负载情况：
ollama ps如果是docker安装则执行
docker exec -it ollama ollama ps执行如下可以看到模型是只运行在CPU上
1. 检查 NVIDIA 驱动和 CUDA 安装
确保宿主机（Host）已正确安装 NVIDIA 驱动和 CUDA 工具包。可以通过以下命令检查：
nvidia-smi如何安装CUDA可以查看我的另一篇文章《ubuntu22 安装CUDA》
2. 安装 NVIDIA Container Toolkit
Docker 需要使用 NVIDIA Container Toolkit 来支持 GPU。安装步骤如下：
-
添加 NVIDIA 的仓库和密钥：
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update -
安装 NVIDIA Container Toolkit：
sudo apt-get install -y nvidia-container-toolkit -
重启 Docker 服务：
sudo systemctl restart docker -
验证安装：
docker run --rm --gpus all nvidia/cuda:12.0.1-runtime-ubuntu22.04 nvidia-smi如果显示 GPU 信息，说明配置成功。
3. 重装ollama
docker rm ollama
docker rmi ollama/ollama
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
结尾： 打开微信扫一扫以下二维码，或者手机长按二维码保存再到微信扫一扫选择相册刚才保存的二维码图片。
谢谢阅读!~~
