nvidia显卡服务器离线环境下通过vllm部署deepseek

2025-05-27 22:57:09 5 阅读

一、操作系统
如果不要求操作系统，个人建议使用ubuntu22.04版本

二、环境准备
安装python
https://www.python.org/downloads/source/ 压缩包地址
下载好的压缩包上传到服务器
执行一下命令

```
tar -zxvf Python-3.12.9.tgz  //解压
cd /Python-3.12.9  //进入解压后的目录
./configure --prefix=/usr/local/python3.12.9  //指定安装在哪个目录
make && sudo make install  //编译以及安装
ln -sf  /usr/local/python3.12.9/bin/python3.12 /usr/bin/python3  软链接
ln -sf  /usr/local/python3.12.9/bin/pip3.12 /usr/bin/pip3
 python3 -v
```

三、安装miniconda3

创建目录
```
 ```
 mkdir -p ~/miniconda3
 ```
```
下载脚本
https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
下载之后上传到服务器
运行脚本
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
激活
~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh
source ~/.bashrc
配置国内镜像源
vim ~/miniconda3/.condarc

show_channel_urls: true
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
custom_channels:
	conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
	msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
	bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
	menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
	pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
	pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
	simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

验证
conda --version
conda info
创建虚拟环境
conda create --name vLLM python=3.10 -y
注意python版本要和自己一致
激活环境
conda activate vLLM

四、安装nvidia驱动

禁用nouveau驱动
vim /etc/modprobe.d/blacklist-nouveau.conf
因为可能会冲突
blacklist nouveau
options nouveau modeset=0
nvidia驱动下载(若已装好则跳过)
https://www.nvidia.cn/
下载好后上传到服务器安装
dpkg -i 驱动包名
apt update
apt install -y cuda-drivers
reboot now
nvidia-smi
五、安装cuda
conda activate vLLM
https://developer.nvidia.com/cuda-toolkit-archive
找到对应版本执行下载命令
cuda的版本要与nvidia-smi中显示的版本一致
赋予权限 chmod a+x 文件名.run
./文件名
配置环境变量
echo ‘export PATH=/usr/local/cuda-12.4/bin: $PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda- 12.4/lib64:$ LD_LIBRARY_PATH’ >> ~/.bashrc
source ~/.bashrc
nvcc --version
reboot now
conda activate vLLM
六、安装torch
https://download.pytorch.org/whl/torch/
上传torch-2.4.0+cu124-cp310-cp310-linux_x86_64.whl
pip install torch-2.4.0+cu124-cp310-cp310-linux_x86_64.whl
七、上传vllm
准备一台可以联网的服务器（如果当前服务器联网直接pip install vllm）
pip download vLLM -i https://pypi.tuna.tsinghua.edu.cn/simple
将下载好的vllm打包传输到目标服务器
pip install vllm.tar
vllm --version
八、上传模型
https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B，模型下载地址，我是通过移动硬盘传输的，因为是离线的不能直接下载
九、运行模型
下载好了之后运行模型，跑起来就ok了