在Ubuntu服务器上部署xinference
一、拉取镜像
docker pull xprobe/xinference:latest
二、启动容器（GPU）
docker run -d --name xinference -e XINFERENCE_MODEL_SRC=modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0# 启动一个新的Docker容器
docker run
# 以分离（后台）模式运行容器
-d
# 将容器命名为"xinference"
--name xinference
# 设置环境变量，指定Xinference的主目录为容器内的
-e XINFERENCE_MODEL_SRC=modelscope
# 将容器的9997端口映射到主机的9997端口
-p 9997:9997
# 允许容器使用主机上的所有GPU资源
--gpus all
# 使用最新版本的xprobe/xinference镜像
xprobe/xinference:latest
# 在容器内运行xinference-local命令，并设置主机地址为0.0.0.0（允许从任何IP地址访问）
xinference-local -H 0.0.0.0三、访问
网址：http://localhost:9997
参考链接：
Docker 镜像 — Xinference
本地如何使用docker部署和使用Xinference_xinference docker部署-CSDN博客
Xinference本地直接安装、打开、部署、测试模型、api调用_xinference本地部署-CSDN博客
DeepSeek+Ollama+Xinference+RAGFlow+Dify部署教程，RAG落地5件套！
