一、准备工作
在正式开始之前，你需要准备以下内容：
一台配置还不错的电脑（建议至少有独立显卡，内存 16GB 以上，显存越高越好, 没有独立显卡也没关系）。稳定的网络环境（下载模型文件时很重要）。一点点耐心，毕竟我们要部署的是大模型，可能会花点时间。
二、安装 Ollama
我们使用的软件是 Ollama，它是一个非常方便的本地大模型运行工具。
1. 下载 Ollama
- 官网地址：Download Ollama on macOS
- 打开官网后，根据你的操作系统选择对应的版本进行下载（Windows、Mac、Linux 都支持）。
2. 安装 Ollama
- 下载完成后，双击安装包进行安装。
- 安装过程非常简单，一路点击“下一步”即可。
- 默认情况下，Ollama 会安装到 C 盘，建议不要修改安装路径，直接按默认设置安装。
3. 检查安装是否成功
- 打开命令行（Windows 用户可以按
Win + R，输入cmd，然后回车）。 - 输入以下命令，检查 Ollama 是否成功安装：
|
1
|
ollama -v |
- 如果显示版本号，说明安装成功！
三、拉取大模型（DeepSeek）
接下来，我们需要通过 Ollama 下载 DeepSeek 模型。这一步需要用到命令行，别担心，我会一步步教你操作。
1. 打开命令行
- 同样，按
Win + R，输入cmd，然后回车。
2. 下载模型
以下是不同版本模型的下载命令，你可以根据自己的需求选择合适的版本：
- 1.5B Qwen DeepSeek R1
|
1
|
ollama run deepseek-r1:1.5b |
- 7B Qwen DeepSeek R1
|
1
|
ollama run deepseek-r1:7b |
- 8B Llama DeepSeek R1
|
1
|
ollama run deepseek-r1:8b |
- 14B Qwen DeepSeek R1
|
1
|
ollama run deepseek-r1:14b |
- 32B Qwen DeepSeek R1
|
1
|
ollama run deepseek-r1:32b |
- 70B Llama DeepSeek R1
|
1
|
ollama run deepseek-r1:70b |
3. 测试下载
- 为了测试效果，建议先下载一个较小的模型，比如 1.5B 或 7B(我选择的7B测试 1.5不行)。
- 下载过程中如果网速过慢，可以按
CTRL + C中断，然后重新运行命令。
4. 等待下载完成
- 下载完成后，模型会自动安装到本地。
- 安装完成后，你可以通过命令行直接提问，测试模型的效果！
四、测试模型效果
下载完成后，我们来测试一下模型是否正常运行。
2. 注意事项
- 如果使用的是较大的模型（比如 32B 或 70B），可能会占用大量的 GPU 和 CPU 资源，建议根据电脑配置选择合适的模型。
五、安装客户端工具（AnythingLLM）
虽然命令行可以用来提问，但操作起来并不方便。为了更好的使用体验，我们可以安装一个客户端工具 AnythingLLM。
1. 下载 AnythingLLM
- 官网地址：Download AnythingLLM for Desktop
- 下载完成后，双击安装包进行安装。
Download AnythingLLM for Desktop
2. 配置 Ollama 模型
- 打开 AnythingLLM，进入设置页面。
- 选择本地 Ollama 模型方式，软件会自动识别你之前下载的 DeepSeek 模型。
安装完成之后打开软件 找到设置 选择本地Ollama模型方式
他会自动识别本地Ollama下载的大模型
3. 创建工作区
- 回到主界面，随便起一个名字创建工作区。
- 这样就可以开始提问啦！界面和互联网的聊天软件差不多，使用体验非常流畅。
（请合理的选择大模型的参数，防止电脑带不动的情况 出现卡死宕机）
检测AI回答效果
支持问题询问 链接上传 图片上传 无限次数上传文档 和图片！
推理性问题
例如：“如果今天是星期一，五天后是星期几？”这类问题可以测试AI的逻辑推理能力。
DeepSeek回答：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
嗯，今天是星期一，那五天后会是星期几呢？让我仔细想想。首先，一周有七天，所以从星期一开始数起：星期一、星期二、星期三、星期四、星期五、星期六、星期日。现在，如果今天是星期一，那么过一天就是星期二，再过一天就是星期三，依此类推。 那问题来了，我要计算的是五天后是星期几。首先，我需要明确“今天”指的是哪一天。假设今天是星期一，那么接下来的每一天分别是： 星期二（明天）星期三（后天）星期四星期五星期六所以，从星期一开始数五天，第五天就是星期六。因此，五天后的那一天应该是星期六。 不过，为了确保我没有搞错，我可以使用另一种方法来验证。比如，可以用模运算来计算：用当前的星期几加上要过去的天数，然后对7取余数。例如： 今天是星期一（1），五天后就是1 + 5 = 6。因为一周有七天，所以6 mod 7 = 6，对应的是星期六。 这样看来，无论是通过直接数数还是使用模运算的方法，得出的结果都是星期六。 如果今天是星期一，那么五天后是星期六。 |
解释性问题
- 例如：“请解释一下相对论的基本概念。”这类问题可以评估AI的解释能力和深度。
DeepSeek回答：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
好的，现在我要回答用户的问题，用户之前问了一个关于星期几的问题，并得到了正确的答案。接下来，用户又发来一个请求，要求我解释性地回答问题，举个例子来说“请解释一下相对论的基本概念。”。 首先，我需要理解用户当前的需求是什么。看起来用户对相对论这个概念不太熟悉，想要一个简明扼要的解释，可能用于学习或兴趣了解。用户希望得到一个清晰、直观的例子来帮助理解相对论。 接下来，我要回忆相对论的相关知识。相对论主要包括狭义相对论和广义相对论。狭义相对论由爱因斯坦在1905年提出，主要讨论了惯性参考系中的现象，特别是光速不变原理和时间膨胀效应。而广义相对论则是关于引力的理论，它指出引力是时空曲率的表现。 为了使解释更易懂，我可以选择一个具体的例子来说明相对论的基本概念。例如，时间膨胀是一个重要的狭义相对论现象，可以举一个火车与闪电同时到达两个点的故事。通过这个故事，可以形象地展示在高速运动的参考系中，同一事件的时间测量会发生差异。 此外，我还需要确保语言简洁明了，避免使用过于专业的术语或复杂的数学公式。这样可以让不同背景的用户都能理解。 最后，总结一下，我的回答应该包括相对论的两个主要部分，并通过一个具体的例子来解释时间膨胀这一概念，以帮助用户更好地理解相对论的基本思想。 当然可以！相对论是爱因斯坦提出的一套描述宇宙运动和引力的理论。它主要包括狭义相对论和广义相对论两部分。 举个例子：假设有一列火车以接近光速的速度运行，当火车上的乘客看到闪电同时击中火车头和尾部时，地面上的人可能会觉得这两件事并不同时发生（因为火车在移动）。这是因为相对于火车来说，光是同步传播的，但相对于地面，由于火车速度极快，时间会有一点差异。这种现象说明时间和空间并不是绝对的，而是相对的，具体取决于观察者的运动状态。 这样的例子可以帮助理解相对论中的一些基本概念，如时间膨胀、长度收缩和相对性原理等。 |
等等 具体的使用看你自己
这样你就成功的把DeepSeek部署到本地电脑啦
六、上传本地知识库
如果你有自己的文档或者资料，可以将它们上传到模型中，方便模型回答与你的资料相关的问题。
1. 上传文档
- 在客户端中找到“知识库”功能。
- 点击上传，将本地的文档（如 PDF、Word）上传到知识库中。
然后上传本地的文档
2. 保存知识库
- 上传完成后，记得点击保存。
- 这样模型就可以根据你的知识库内容进行回答了！
七、总结与建议
到这里，你已经成功完成了 DeepSeek 模型的本地部署！以下是一些小建议：
- 合理选择模型参数：如果你的电脑配置一般，建议使用较小的模型（比如 7B 或 8B），避免出现卡死或宕机的情况。
- 定期清理缓存：大模型会占用较多的存储空间，建议定期清理不需要的模型文件。
- 多测试多尝试：通过不断测试不同类型的问题，熟悉模型的能力和限制。
