Atlas 800 9000训练服务器（910A）本地部署Deepseek蒸馏版
硬件资源
- 910A服务器
- 固件、驱动、CANN配套安装（详细教程移步主页）
- 需安装Docker
- 教程适用于 DeepSeek 开源项目的所有蒸馏版本
下载权重
DeepSeek蒸馏版下载清单：
- DeepSeek-R1-Distill-Qwen-1.5B
- DeepSeek-R1-Distill-Qwen-32B
- DeepSeek-R1-Distill-Qwen-7B
- DeepSeek-R1-Distill-Llama-8B
- DeepSeek-R1Distill-Lama-70B
详细可见官网：
ModelScope-deepseek-模型仓
请选择您需要的模型，然后进入该模型的主页开始下载。以下以 DeepSeek-R1-Distill-Qwen-14B 为例进行说明。
DeepSeek-R1-Distill-Qwen-14B 模型权重下载地址：
DeepSeek-R1-Distill-Qwen-14B
- 请点击网页中的“下载模型”按钮进行下载。
- 在操作环境中
pip install modelscope - 命令行下载完整模型库
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B - 如需指定下载地址
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B --local_dir './local_dir'。模型文件将被下载在’./local_dir’中 - 如果需要下载私有模型要login登陆，然后使用ModelScope SDK下载私有模型。
下载推理服务镜像-MindIE
该镜像拉取即可使用MindIE，无需其他配置！
MindIE-910A镜像链接
版本信息
Python版本：3.10
CANN版本：8.0.t63
操作系统版本：ubuntu_20.04
推荐卡数
- Qwen2-72B-W8A8 4卡
- Qwen2.5-32B-W8A8 2卡
- Qwen2-7B 1卡
启动镜像与容器
docker pull swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02
启动命令
参考命令：
！！！记得挂载自己的权重路径
docker run -it --ipc=host --net=host
--name MindIE
--device=/dev/davinci0
--device=/dev/davinci1
--device=/dev/davinci_manager 
