【linux】在 Linux 服务器上部署 DeepSeek-r1:70b 并通过 Windows 远程可视化使用
【linux】在 Linux 服务器上部署 DeepSeek-r1:70b 并通过 Windows 远程可视化使用
文章目录
-
- 【linux】在 Linux 服务器上部署 DeepSeek-r1:70b 并通过 Windows 远程可视化使用
-
- 个人配置详情
- 一、安装ollama
- 二、下载deepseek版本模型
- 三、在 Linux 服务器上配置 Ollama 以允许远程访问
- 四、 在 Windows 系统上连接到远程 Ollama 服务
- 五、在远程服务器上部署 DeepSeek 并指定使用特定的 GPU
个人配置详情
DeepSeek 是一款基于深度学习的高性能 AI 模型，广泛应用于自然语言处理、图像识别等领域。它能够为用户提供强大的计算能力和智能解决方案。然而，由于 DeepSeek 模型的复杂性和资源需求，通常需要在高性能的 Linux 服务器上进行部署。而对于许多用户来说，日常使用环境往往是 Windows 系统。因此，实现从 Windows 系统远程访问部署在 Linux 服务器上的 DeepSeek，成为了许多开发者和研究人员的迫切需求。
我的服务器是有六张2080ti，四张是魔改版22GB，服务器用的是Ubuntu20.04版本，现在通过在服务器部署deepseek70b跟32b，然后在windows本地远程使用服务器部署的deepseek
一、安装ollama
1、安装依赖项
在部署之前，确保你的 Linux 系统已安装以下依赖项：
sudo apt update
sudo apt install -y curl
2、安装 Ollama
使用以下命令安装 Ollama：
curl -fsSL https://ollama.com/install.sh | sh
3、验证是否安装成功
ollama --version
二、下载deepseek版本模型
ollama run deepseel-r1
