ubuntu24安装xinference
一、单机部署 Xinference
- 拉取 Xinference 镜像
docker pull xprobe/xinference:latest
二、 启动容器（根据硬件选择命令）
仅 CPU 模式：
docker run -d -p 9998:9998 --name xinference xprobe/xinference:latest
启用 GPU 加速（需 NVIDIA 驱动）：
docker run -d --gpus all -p 9998:9998 --name xinference xprobe/xinference:latest
三、如果报错could not select device driver ““ with capabilities: [[gpu]]
解决方法
既然通过–gpus参数调用宿主机GPU失败，那就重新安装一个英伟达的容器工具包
安装和配置NVIDIA Container Toolkit步骤：
NVIDIA容器工具包不能直接通过apt install命令安装，因此需要先执行如下命令添加英伟达的apt软件源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list |
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' |
从存储库更新包列表：
sudo apt-get update
安装 NVIDIA Container Toolkit 软件包：
sudo apt-get install -y nvidia-container-toolkit
重启docker服务
sudo systemctl restart docker
四、启动服务
docker run -e XINFERENCE_MODEL_SRC=modelscope -p 9998:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0 --log-level debug
