Mac下最详尽的Ollama+Deepseek-r1 本地部署手册
Windows下面的部署手册已经有了,现在Mac下的Deepseek和Ollama的本地部署的最详尽,让你最舒心的手册也来了!想在Mac上部署的朋友看过来。
我的Mac是Mac Mini M4 16G的主机,只要是Mac系统机器,部署都是一样的(当然,我是不会在我的Air上装的)。
现在,让我们从零开始,在Mac上先安装ollama,配置ollama相关路径,再到把Deepseek跑起来,最详尽的步骤就在这里。
我们这篇会涉及四个部分:
-
安装Ollama
-
指定Ollama存放的模型文件路径
-
加载已经下载到本地的GGUF大模型文件
-
让其它终端可以访问这个Ollama。
后两部分内容是之前没有介绍过的,但是Windows下的操作基本和这个一样,同样可以参考。
1. 安装Ollama:
Ollama的安装包可以直接从 ollama.com下载,安装包大小大概200M
(鉴于很多朋友无法下载ollama,这里给大家整理好了ollama的安装包,扫描领取即可↓↓↓↓)
-
Mac的安装包是一个名为Ollama-darwin.zip的文件,建议解压缩后拷贝到“应用”文件夹里。
-
拷贝后就可以在应用里看到Ollama的图标了
-
启动Ollama,第一次会提醒你进行安装
-
同时会自动添加到Mac的自启动中,如果不想让它自动启动的话,可以取消
-
取消Ollama的自动启动
-
点击Next,会提示安装Ollama的命令行
-
输入管理员密码,就安装成功,并自动运行了
-
注意!先不要运行这个命令,运行这个命令的话Ollama就会自动下载并运行llama3.2的大模型,我们后面来安装Deepseek的模型
-
Ollama已经运行了,我们可以在状态栏看到它的图标
2. 指定Ollama的大模型文件存储的位置:
-
Mac下Ollama的默认路径在 /Users/<你的用户名>/.ollama;Ollama的本地模型的默认存储位置也在这个路径下面,是 /Users/<你的用户名>/.ollama/models
-
为了方便管理,我们设置Ollama的模型位置到指定的文件夹下。
-
比如我想把本地模型文件都放在 “/Users/<你的用户名>/LLM/ollama/models” 路径下,那我创建好这个文件夹后,通过在终端中运行下面的命令来设定Ollama的相关运行参数即可
launchctl setenv OLLAMA_MODELS "/Users/<你的用户名>/LLM/ollama/models"
-
参考在这里https://github.com/ollama/ollama/blob/main/docs/faq.md#setting-environment-variables-on-mac
-
我们退出Ollama
-
在终端中运行ollama serve,可以看到环境变量已经改过来了。确认没问题后,我们可以用 “Ctrl+c”退出
-
点击Ollama的程序,Ollama运行后,我们就可以通过" ollama run <模型名称> "的命令来让Ollama下载和运行本地大模型了,这里可以参考Windows的那一篇,操作和界面是一样的 Windows下最详尽的Ollama+Deepseek-r1 本地部署手册
-
直接通过Ollama来和本地大模型交互很不方便,我们可以借助其它的客户端来进行交互,可以参考这篇来配置:用Chatbox或Page Assist方便的访问本地DeepSeek大模型
3. Ollama加载本地的大模型GGUF文件
有时用Ollama run或者pull命令来直接在Ollama中拉取大模型的时候,因为网络问题会报错,不能够拉取大模型到本地。Ollama是支持从下载好大模型GGUF文件导入模型的,这样我们就可以先用下载软件下载好我们想用的模型的GGUF文件,然后做导入,这样就方便多了。
-
先在Ollama的 models目录下创建一个名为Modelfile的文本文件(没有后缀),我这里放在了上面设置的路径"/Users/<你的用户名>/LLM/ollama/models",这个文件定义了Ollama通过哪个GGUF文件导入大模型,以及自定义的一些参数。我是16G的Mac Mini,尝试来跑一下14B量化后的模型。
# 这条必须有,定义从哪个GGUF文件来加载,如果文件不是在同一目录的话,建议写完整的绝对路径``FROM /Users/dapang/LLM/models/DeepSeek-R1-Distill-Qwen-14B-Q6_K_L.gguf``# 可选 设定temperature 的值,从零0 到 1,越高大模型越有创造性,适合创意类;越低越严谨,适合代码,具体操作的问答等,默认值是0.8``#PARAMETER temperature 0.7``# 可选,上下文窗口大小,设定大模型能够使用多少token来生成下一个token,越大支持的对话长度越高,但对于内存大小要求越高``# PARAMETER num_ctx 4096
-
关于Modelfile文件的详细介绍,可以参考
https://github.com/ollama/ollama/blob/main/docs/modelfile.md
-
在终端中进入Ollama的models目录,运行下面的命令,就会Ollama就会根据上面我们创建的Modelfiles文件的内容来读取GGUF和导入出一个名为“ds_16b”的模型了
ollama create ds_16b -f ./Modelfile
-
验证
ollama list
-
运行模型,就可以使用你本地的Deepseek了
ollama run ds_16b
4. 让其它终端可以访问这个Ollama
默认Ollama的服务只允许本机访问,如果需要让其它设备也可以访问,需要将其它机器加入Ollama的访问列表,因为是在本地局域网内,所以我这里允许其它所有主机访问,这样同一个局域网里的人就都可以用了。
-
Mac中运行下面的命令
launchctl setenv OLLAMA_HOST "0.0.0.0"``launchctl setenv OLLAMA_ORIGINS "*"
-
Windows中在环境变量中加入下面两个变量,参考Windows下最详尽的Ollama+Deepseek-r1 本地部署手册
OLLAMA_HOST=0.0.0.0``OLLAMA_ORIGINS=*
-
在其它的设备上访问你的Ollama。以page assist为例,我在我的windows上来访问这个Ollama,Ollama url那里的IP地址写成Mac的即可。
看到这里,Deepseek-r1的模型已经在你的Mac上跑起来了,而且同一个局域网里人也可以访问它了,让大家一起用起来吧。
如何系统的去学习大模型LLM ?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业
?”“谁的饭碗又将不保了?
”等问题热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为
等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?
与其焦虑……
不如成为「掌握AI工具的技术人
」,毕竟AI时代,谁先尝试,谁就能占得先机!
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。
针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料
分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)
LLM大模型学习路线 ↓
阶段1:AI大模型时代的基础理解
-
目标:了解AI大模型的基本概念、发展历程和核心原理。
-
内容:
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
-
目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
-
内容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3:AI大模型应用架构实践
-
目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
-
内容:
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
-
目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
-
内容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料
包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈