RAG实战：本地部署ragflow+ollama（linux）
1.部署ragflow
1.1安装配置docker
因为ragflow需要诸如elasticsearch、mysql、redis等一系列三方依赖，所以用docker是最简便的方法。
docker安装可参考Linux安装Docker完整教程，安装后修改docker配置如下：
vim /etc/docker/daemon.json
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"features": {
"buildkit": true
},
"live-restore": true,
"registry-mirrors": [
"https://docker.211678.top",
"https://docker.1panel.live",
"https://hub.rat.dev",
"https://docker.m.daocloud.io",
"https://do.nark.eu.org",
"https://dockerpull.com",
"https://dockerproxy.cn",
"https://docker.awsl9527.cn/"
]
}修改后重新加载配置并重启docker服务：
systemctl daemon-reload && systemctl restart docker
1.2 配置ragflow
git clone https://github.com/infiniflow/ragflow.git
cd ragflow/docker
docker compose -f docker-compose.yml up -d
构建docker环境期间，有遇到elasticsearch下载失败的情况，于是将docker-compose-base.yml中的
image: docker.elastic.co/elasticsearch/elasticsearch:${STACK_VERSION}
改成：
image: elasticsearch:${STACK_VERSION}
环境构建完成后，确认服务器状态：
docker logs --tail 100 -f ragflow-server
出现以下界面提示说明服务器启动成功：
____ ___ ______ ______ __
/ __ / | / ____// ____// /____ _ __
/ /_/ // /| | / / __ / /_ / // __ | | /| / /
/ _, _// ___ |/ /_/ // __/ / // /_/ /| |/ |/ /
/_/ |_|/_/ |_|____//_/ /_/ ____/ |__/|__/
* Running on all addresses (0.0.0.0)
* Running on http://127.0.0.1:9380
* Running on http://x.x.x.x:9380
INFO:werkzeug:Press CTRL+C to quit此时，通过docker ps可以看到运行中的容器：
如果要停止服务：docker stop $(docker ps -q)
1.3 登陆ragflow页面
在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。只需输入 http://IP_OF_YOUR_MACHINE 即可：未改动过配置则无需输入端口（默认的 HTTP 服务端口 80，如需修改端口，修改docker-compose.yml中ports下面80前面端口号）
你将在浏览器中看到如下界面，第一次要注册一个账号，邮箱随便填。
2.部署ollama
2.1下载ollama
# 两种下载方式：
# 方法一：
curl -fsSL https://ollama.com/install.sh | sh
# 方法二：
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
2.2 启动
ollama serve
2.3 下载大模型
以qwen2-7b为例，其他模型可以去https://ollama.com/library搜索。
方法一：ollama run qwen2:7b
模型文件比较大，如果上述方法网络不稳定，可以使用下面的方法二。
方法二：
①去https://huggingface.co/models?library=gguf下载gguf格式的模型文件，根据所需，选择一个下载，如Qwen2-7B-Instruct.Q4_K_M.gguf
②创建一个构造文件qwen2-7b.modelfile（自由命名），文件的内容为你下载的模型文件路径，如：
FROM ./Qwen2-7B-Instruct.Q4_K_M.gguf③构造
ollama create qwen2-7b -f qwen2-7b.modelfile
构造完成后执行ollama list即可看到你构造的模型。如：
$ollama list
NAME ID SIZE MODIFIED
qwen2-7b:latest 0151b69b0ffa 4.7 GB 1 weeks ago测试：
ollama run qwen2-7b "你是谁？"2.4 补充其他两种调用方式
url调用：
curl http://localhost:11434/api/chat -d '{
"model": "qwen2-7b",
"messages": [
{ "role": "user", "content": "你是谁？" }
]
}'python代码调用：
import requests
import json
def send_message_to_ollama(message, port=11434):
url = f"http://localhost:{port}/api/chat"
payload = {
"model": "qwen2-7b",
"messages": [{"role": "user", "content": message}]
}
response = requests.post(url, json=payload)
if response.status_code == 200:
response_content = ""
for line in response.iter_lines():
if line:
response_content += json.loads(line)["message"]["content"]
return response_content
else:
return f"Error: {response.status_code} - {response.text}"
if __name__ == "__main__":
user_input = "why is the sky blue?"
response = send_message_to_ollama(user_input)
print("Ollama's response:")
print(response)
3.在ragflow中配置ollama
3.1 添加LLM
登陆ragflow，点击右上角的头像，找到模型供应商-选择Ollama-添加模型
在 RagFlow 中配置模型时，由于 RagFlow 是通过 Docker 安装的，因此需要使用以下地址连接本地部署的 Ollama：http://host.docker.internal:11434
若要部署embedding模型，方式与2.3和3.1一样。
3.2 构建知识库 & 聊天
后续的使用步骤均在页面上操作，比较简单易懂，就省略了。
