DeepSeek企业级部署实战指南：从服务器选型到Dify私有化落地

2025-04-28 23:57:32 0 阅读

对于个人开发者或尝鲜者而言，本地想要部署 DeepSeek 有很多种方案，但是一旦涉及到企业级部署，则步骤将会繁琐很多。

比如我们的第一步就需要先根据实际业务场景评估出我们到底需要部署什么规格的模型，以及我们所要部署的模型，到底需要多少服务器资源来进行承接，也就是资源预估先行。

预估完我们的服务器资源以后，还需要评估我们的业务场景是否需要二次开发模型。

如果只是简单的微调模型就可以符合我们的业务需求，那么使用Ollama、LM Studio、GTP4All 或许就可以满足我们的诉求。

但是如果需要对模型进行定制化开发，则需要考虑进行模型的原生部署。

所以本篇文章主要解决四个问题：

如何合理评估我们的服务器资源
Ollama 部署指定版本的 DeepSeek
原生部署 DeepSeek
搭建 Dify 构建企业内的私有知识库、工作流

评估服务器资源

评估服务资源前我们需要先考虑将要部署的模型参数量、模型的序列长度、批次大小和量化类型。

模型参数量

模型参数量：就是该模型神经网络的输入权重和输出阈值的总和，模型参数量的大小，直接影响到模型智能化程度的高低，模型参数量越高耗费的服务器资源越多，反之亦然。

模型序列长度

那么在我们可以确认了模型的参数规模后，就需要根据业务场景评估该模型的序列长度。

序列长度是该模型一次能处理的最大 Token 数，针对 QA 问答的模型，你可以理解为你每次问模型问题时可以输入的最大Token限制，如果用户的问题超出了这个长度，则用户的问题可能会被截断或者被分为多个部分进行分别处理。

模型量化类型

而模型的量化类型，则是该模型的参数精度，我们在之前的模型原理中提到过，训练好的模型实际存储的就是一堆参数值，而这些参数值本身就是浮点数，所以量化类型的值越大则模型的精度越准确，智能化程度越高。

服务器资源计算

了解了上述的基本概念后，你可能会觉得我依然无法评估模型到底应该占用多少服务器资源呀？怎么办？

呐，不要急。

关于具体的参数映射到底应该配置什么样的服务器资源，有网友已经做了一个配置计算器工具。

你只需要根据上面的概念选择自己的模型规模，便会自动计算出所需要的服务器资源。

Ollama 部署 DeepSeek

Ollama 是本地运行大模型的一款工具，支持在 Mac、Linux、Windows 上下载并运行对应的模型。

Ollama 安装

# MacOS、Windows 用户直接访问Ollama官网https://ollama.com/download 下载对应的安装包直接安装即可

# Linux安装
curl -fsSL https://ollama.com/install.sh | sudo bash
sudo usermod -aG ollama $USER  # 添加用户权限
sudo systemctl start ollama    # 启动服务

Ollama安装完成后，在对应的命令行输入：

ollama -v

此时输出Ollama version is 0.5.7，则表示安装成功。

DeepSeek模型安装

Ollama 安装成功后则访问 Ollama 的官网查找我们要安装的模型

1、访问 Ollama 官网

2、选择适合当前机器配置的模型参数，然后拷贝对应的执行命令即可

3、命令行终端直接执行对应的命令

ollama run deepseek-r1:7b
# 执行后
pulling manifest
pulling 96c415656d37... 100% ▕██████████████▏ 4.7 GB
pulling 369ca498f347... 100% ▕██████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕██████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕██████████████▏ 148 B
pulling 40fb844194b2... 100% ▕██████████████▏ 487 B
verifying sha256 digest
writing manifest
success
> > > Send a message (/? for help)
> > > `
#当看到上述提示，即可开始模型对话，此时我发送一个问题：你是谁
>>> 你是谁


您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。如您有任何任何问题，我会尽我所能为您提供帮助。
>>>

恭喜！出现上述的对话内容，表示当前 DeepSeek 已经在你本地可以正常运行了。

nomic-embed-text模型安装

此时我们需要另外再部署一个新的模型，nomic-embed-text，这是一个文本向量化的模型，主要是后续基于 Dify 做向量化检索时使用。

ollama pull nomic-embed-text
#执行后
pulling manifest 
pulling 970aa74c0a90... 100% ▕█████████ 274 MB                         
pulling c71d239df917... 100%  █████████ 11 KB                         
pulling ce4a164fc046... 100%  █████████ 17 B                         
pulling 31df23ea7daa... 100%  █████████ 420 B                         
verifying sha256 digest 
writing manifest 
#看到该提示表示安装成功
success

部署图形化客户端

有些同学在部署完 DeepSeek 后就想直接找个 UI 工具和 DeepSeek 聊天了，而不是一直在对应的命令行工具中聊天。

此时我们直接部署一套 UI 工具，连接我们的 DeepSeek 模型即可。

可以连接 DeepSeep 模型的 UI 工具有很多：

ChatBox 客户端（图形化界面）支持 Web 网页，也支持本地客户端。
AnythingLLM 客户端（图形化界面）
Open WebUI 客户端（图形化界面）支持 Web 网页，类似 ChatGPT。
Cherry Studio 客户端（图形化界面）
Page Assist 客户端（浏览器扩展）支持「联网搜索」

此时我们以 ChatBox 为例，直接访问对应的官网下载对应的客户端即可

下载完成后我们在 ChatBox 的设置中填写 Ollama API 的地址和对应的模型名称，然后保存即可。

然后我们直接打开一个新的对话框，选择要运行的模型即可开始对话。

原生部署 DeepSeek

原生部署 DeepSeek 则需要参考官方所提供的部署方式进行部署

上述提到DeepSeek可以支持SGLang、LMDeploy、TensorRT-LLM、vLLM框架进行部署。

此处我们使用 LMDeploy 来部署 DeepSeek

ppqq LMDeploy 是一个用于大型语言模型（LLMs）和视觉-语言模型（VLMs）压缩、部署和服务的 Python 库。其核心推理引擎包括 TurboMind 引擎和 PyTorch 引擎。前者由 C++ 和 CUDA 开发，致力于推理性能的优化，而后者纯 Python 开发，旨在降低开发者的门槛。

想要使用 LMDeploy 的前提是需要先使用 conda 或者 pip 安装对应的python 库依赖才行。

conda create -n lmdeploy python=3.8 -y
conda activate lmdeploy
pip install lmdeploy

关于LMDeploy具体的安装方式也可以直接参考安装文档

编写运行代码

from lmdeploy import pipeline, TurbomindEngineConfig

# 模型路径，可以是以下几种选项之一：
# 1. 本地目录路径，指向一个turbomind模型
# 2. lmdeploy-quantized模型的model_id
# 3. 存放在模型仓库中的模型的model_id
model = 'deepseek-ai/DeepSeek-R1-Distill-Qwen-7B'

# Turbomind引擎配置，用于设置模型的后端参数
backend_config = TurbomindEngineConfig(
    cache_max_entry_count=0.2,  # 缓存最大条目数
    max_context_token_num=20544,  # 最大上下文token数量
    session_len=20544  # 会话长度
)

# 生成配置，用于设置生成文本的参数
gen_config = GenerationConfig(
    top_p=0.95,  # 采样阈值
    temperature=0.6,  # 温度参数，影响生成的多样性
    max_new_tokens=8192,  # 最大新生成token数量
    stop_token_ids=[151329, 151336, 151338],  # 停止token的ID列表
    do_sample=True  # 启用采样
)

# DeepSeekAI服务类
class DeepSeekAiServicer:

    def __init__(self, model: str, backend_config: TurbomindEngineConfig, gen_config: GenerationConfig):
        # 初始化服务，加载模型和配置
        self.llm = pipeline(model, backend_config=backend_config)
        self.gen_config = gen_config

    def chat(self, content):
        # 根据DeepSeek官方推荐，每个提示需要以
结尾
        # 如果是数学推理内容，建议包含以下（中英文）：
        # 请逐步推理，并将最终答案放在oxed{}中。
        prompts = [{
            "role": "user",
            "content": "生活的意义是什么？
"
        }]

        # 响应示例：
        # " 生活的意义是快乐。  我认为生活的意义是快乐。"
        response = self.llm(prompts, gen_config=self.gen_config)
        return response

将上述代码直接在 python 环境中运行便可以直接启动我们的 DeepSeek 模型。

由于我们采用 LMDeploy 代码来部署模型，因此我们获得了更大的调整灵活性。我们能够针对内存管理、并发处理和负载均衡等多个方面进行细致的优化。此外，LMDeploy 允许我们集成其他 Python 库，以便对模型进行微调并添加自定义层，这些功能进一步提升了我们的定制化能力，确保了模型部署的灵活性和效率。

部署 Dify

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。

由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

简单来说如果你想使用模型构建自己的 RAG 知识引擎或者流程编排，那你少不写一堆LangChain的代码，但是 Dify 将这块业务进行了封装，你只需要在可视化的页面上操作，便可以实现相同的效果，快速的构建出自己的 AI 应用。

运行 Dify

Dify 的部署需要我们本地先支持 Docker 和 Git 的依赖环境，然后我们在对应的终端直接执行下面的代码，便可以直接运行 Dify

#克隆 Dify 源代码至本地环境。
git clone https://github.com/langgenius/dify.git

#进入 Dify 源代码的 Docker 目录
cd dify/docker

#复制环境配置文件
cp .env.example .env

#启动 Docker 容器
docker-compose up -d