【亲测有效！】ubuntu20.04和Centos7离线安装docker及nvidia-container-toolkit
【亲测有效！】ubuntu20.04和Centos7离线安装docker及nvidia-container-toolkit
- 一、Ubuntu20.04安装docker
- （1）查看当前系统版本号和名称
- （2）在镜像源进行源文件下载
- （3）命令行进行安装
- （4）配置daemon并重启docker
- 二、Ubuntu20.04安装NVIDIA-container-toolkit
- （1）下载安装包
- （2）安装下载包
- （3）重新加载daemon文件和docker
- （4）查看nvidia-docker 版本
- （5）配置daemon.json
- 三、Centos7安装docker
- （1）下载符合版本要求的docker，链接：
- （2）解压 docker-24.0.4.tgz 文件：
- （3）将解压出的所有Docker文件复制到 /usr/bin/ 目录下：
- （4）创建并赋予service文件权限
- （5）重新加载systemd守护进程以应用更改：
- （6）启动Docker并设置开机自启动：
- 四、Centos7安装nvidia-container-runtime
- （1）下载符合版本要求的nvidia-container-runtime，链接：
- （2）#解压nvidia-container-runtime.tar.gz
- （3）安装所有rpm包
- （4）重启容器
- 五、拉取镜像、打包并离线加载运行、训练
- （1）建立镜像或者拉取镜像
- 1）建立镜像
- 2）如果是拉取现成的镜像，可以通过docker hub等方式先在==线上==拉取
- （2）打包镜像
- （3）离线加载镜像
- （4）查看当前镜像
- （5）运行生成容器
- 附：Error记录
- （1）CUDA error: no kernel image is available for execution on the device
- 1）安装CUDA-TOOLKIT
- 2）安装cuDNN:
- 3）卸载CUDA和cuDNN
- 4）在docker images中安装与CUDA版本匹配的pytorch
前言：
近期因工作需在离线环境下安装docker及nvidia-container-toolkit，摸索了一番，最终可行，特此记录供参考及个人后续查看。
一、Ubuntu20.04安装docker
（1）查看当前系统版本号和名称
lsb_release -a
我的是ubuntu20.04，focal
（2）在镜像源进行源文件下载
https://download.docker.com/linux/ubuntu/dists/
查找符合版本要求的文件，如我的系统对应：https://download.docker.com/linux/ubuntu/dists/focal/pool/stable/链接下的文件。
下载下方四个文件：
containerd.io_xxx_amd64.deb
docker-ce_xxx_amd64.deb
docker-ce-cli_xxx_amd64.deb
docker-ce-rootless-extras_xxx_amd64.deb
（3）命令行进行安装
dpkg -i ./*deb
（4）配置daemon并重启docker
systemctl daemon-reload
systemctl restart docker
二、Ubuntu20.04安装NVIDIA-container-toolkit
（1）下载安装包
链接：https://mirror.cs.uchicago.edu/nvidia-docker/libnvidia-container/stable/ubuntu20.04/amd64/
上述链接不需要翻墙
文件包括：
libnvidia-container1_xxx_amd64.deb
libnvidia-container-tools_xxx_amd64.deb nvidia-docker2_xxx_all.deb
nvidia-container-runtime_xxx_all.deb
nvidia-container-toolkit_xxx_amd64.deb
（2）安装下载包
dpkg -i ./lib* ./nvidia*
（3）重新加载daemon文件和docker
systemctl daemon-reload
systemctl restart docker
（4）查看nvidia-docker 版本
nvidia-docker -v
nvidia-docker version
（5）配置daemon.json
在/etc/docker/daemon.json一开始加上：
"default-runtime": "nvidia",
如下图所示：
三、Centos7安装docker
（1）下载符合版本要求的docker，链接：
链接：https://download.docker.com/linux/static/stable/x86_64/
或者通过网盘下载：
链接: https://pan.baidu.com/s/1azluoUSE_lwCaSjV_J9EtA?pwd=ijf7 提取码: ijf7
将下载的 docker-25.0.0.tgz文件上传到CentOS 7系统。例如，可以上传到 /root 目录下。
（2）解压 docker-24.0.4.tgz 文件：
tar xzvf docker-25.0.0.tgz
（3）将解压出的所有Docker文件复制到 /usr/bin/ 目录下：
cp ./docker/* /usr/bin/
（4）创建并赋予service文件权限
cd /etc/systemd/system
touch docker.service
sudo gedit docker.service
将以下内容复制到 docker.service 文件中：
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
赋予 docker.service 文件执行权限：
chmod 644 /etc/systemd/system/docker.service
（5）重新加载systemd守护进程以应用更改：
systemctl daemon-reload
（6）启动Docker并设置开机自启动：
systemctl start docker
systemctl enable docker
四、Centos7安装nvidia-container-runtime
（1）下载符合版本要求的nvidia-container-runtime，链接：
链接: https://pan.baidu.com/s/1fRkTfWnmeLTVkNhtCntP5A?pwd=t8aq 提取码: t8aq
（2）#解压nvidia-container-runtime.tar.gz
tar -zxvf nvidia-container-runtime.tar.gz
（3）安装所有rpm包
cd nvidia-container-runtime
rpm -Uvh --force --nodeps *.rpm
（4）重启容器
systemctl restart docker
查看安装结果
whereis nvidia-container-runtime
五、拉取镜像、打包并离线加载运行、训练
（1）建立镜像或者拉取镜像
1）建立镜像
docker build -t 镜像REPOSITORY:tag
# 例如： .docker build -t 777888:v1
2）如果是拉取现成的镜像，可以通过docker hub等方式先在线上拉取
docker pull 777888:v1
（2）打包镜像
docker save -o 777888.tar
（3）离线加载镜像
在离线环境下，导入镜像的TAR包，通过下述命令加载：
docker load -i 777888.tar
（4）查看当前镜像
docker images
（5）运行生成容器
当不使用GPU时：
docker run -it --shm-size 64G -v /home/docker/labelTransform:/usr/src/app/datasets --name 777888 777888:v1
当使用GPU时：
docker run --runtime=nvidia --gpus all -it --shm-size 64G -v /home/docker/labelTransform:/usr/src/app/datasets --name y777888 777888:v1
-v表示挂载本地路径路径“/home/docker/labelTransform”到容器路径“/usr/src/app/datasets”，自动进入容器中，可以开始相关操作了。
附：Error记录
（1）CUDA error: no kernel image is available for execution on the device
查看显卡型号：
lspci | grep -i vga
lspci | grep -i nvidia
查看CUDA是否安装及版本号：
nvcc -V
确认镜像中是否可以使用pytorch并调用CUDA计算，以及匹配的CUDA版本
python
import torch
torch.cuda.is_available()
torch.zeros(1).cuda()
print(torch.version.cuda)
发现，针对NVIDIA A800显卡算力，CUDA10.2无法匹配，而准备的镜像中，pytorch等相关包都是匹配CUDA10.2的。
！！！重点：！！！
显卡算力需要与CUDA相匹配，而docker镜像中的torch和torchvision需要与CUDA版本相匹配
显卡算力查询网址：https://developer.nvidia.com/cuda-gpus#compute
CUDA与显卡算力匹配表：
针对此，定位问题为宿主机显卡算力、CUDA以及镜像中pytorch不匹配问题。
针对宿主机显卡型号A800，基于上述CUDA与算力匹配表11.3版本的CUDA（实际上显卡驱动是535.54.03，CUDA可以接收的最高版本是12.2（可通过nvidia-smi查看），但是中庸之道甚好，就选个中间的，也方便适配pytorch），因此下载安装CUDA11.3+cuDNN。
1）安装CUDA-TOOLKIT
https://developer.nvidia.com/cuda-toolkit-archive
https://developer.nvidia.com/cuda-10.2-download-archive?target_os=Linux&target_arch=x86_64&target_distro=CentOS&target_version=8&target_type=runfilelocal
也准备了网盘的，供下载：
链接: https://pan.baidu.com/s/1nFfAHAb97s_08zAHLaxJBg?pwd=vs5v 提取码: vs5v
找到符合要求的版本，下载到本地，导入离线的宿主机进行安装。
运行安装：
chmod +x cuda_10.2.89_440.33.01_linux.run
./cuda_10.2.89_440.33.01_linux.run --no-opengl-libs
选中需要的，空白表示不选中，由于宿主机在问题之前单独安装了显卡驱动，不再进行选中：
CUDA Installer
- [ ] Driver
[ ] 460.32.03
+ [X] CUDA Toolkit 11.2
[X] CUDA Samples 11.2
[X] CUDA Demo Suite 11.2
[X] CUDA Documentation 11.2
Options
Install
配置环境：
vim /etc/profile
添加下面两行，路径要和上图中一样
export PATH=/usr/local/cuda-11.3/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64:$LD_LIBRARY_PATH
保存并重新加载
source /etc/profile
2）安装cuDNN:
打开下方链接，下载符合版本的：
https://developer.nvidia.com/rdp/cudnn-archive
解压：
tar -xvf cudnn-linux-x86_64-8.7.0.84_cuda11-archive.tar.xz
安装：
cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
测试宿主机本地CUDA：
nvcc -V
3）卸载CUDA和cuDNN
如果本地已经有CUDA但是版本不对，可使用下述方式卸载
cd /usr/local/cuda-11.3/bin
sudo ./cuda-uninstaller
cd /usr/local/
sudo rm -r cuda-11.3
sudo dpkg -l |grep cuda
sudo dpkg -P cuda-visual-tools-11-3
4）在docker images中安装与CUDA版本匹配的pytorch
卸载原有的torch和torchvision
pip uninstall torch torchaudio torchvision
pip uninstall torch-geometric torch-scatter torch-sparse torch-cluster torch-spline-conv
下载链接:
http://download.pytorch.org/whl/torch_stable.html
下载与python版本和CUDA版本匹配的torch与torchvision:
安装:
pip install torch-1.10.0+cu113-cp38-cp38-linux_x86_64.whl
pip install torchvision-0.11.1+cu113-cp38-cp38-linux_x86_64.whl
测试镜像中torch与CUDA是否都可调用：
python
import torch
torch.cuda.is_available()
torch.zeros(1).cuda()
本文地址：https://www.vps345.com/7056.html
