将DeepSeek安装到本地电脑,可以回答通用的问题,但是想要回答专业问题,还需要在本地搭建个人知识库,让DeepSeek变成私人助手。
主要步骤包括:一、安装本地大语言模型运行框架 Ollama;二、安装高性能AI推理模型DeepSeekR1;三、安装个人知识库 AnythingLLM。
一、安装本地大语言模型运行框架 Ollama
Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。Ollama下载地址:https://ollama.com
根据自己电脑的操作系统,选择对应的Ollama版本。并在电脑上安装。
再次打开终端,输入:Ollama list
,确认安装成功。
配置 Ollama on Windows
为了充分发挥 Ollama 的潜力,我们需要对「环境变量」进行一些自定义配置:
1 使用Windows + R
快捷键打开「运行」对话框,输入以下命令,然后按Ctrl + Shift + Enter
以管理员权限打开「环境变量」配置窗口
|
|
2 在「用户变量」中,根据需要添加以下环境变量。
2.1 更改模型存放路径
Ollama 的默认模型存储路径如下:
|
|
无论你的 C 盘空间大小,需要安装多少模型,都建议换一个存放路径,例如:
- 变量名:
OLLAMA_MODELS
- 变量值:
D:\ollama\models
(示例路径,请根据实际情况调整)
2.2 更改 Ollama API 访问地址和侦听端口
Ollama API 的默认访问地址和侦听端口是http://localhost:11434
,只能在装有 Ollama 的系统中直接调用。如果要在网络中提供服务,请修改 API 的侦听地址和端口:
- 变量名:
OLLAMA_HOST
- 变量值(端口):
:8000
只填写端口号可以同时侦听(所有) IPv4 和 IPv6 的:8000
端口。
2.3 允许浏览器跨域请求
Ollama 默认只允许来自127.0.0.1
和0.0.0.0
的跨域请求,如果你计划在 LoboChat 等前端面板中调用 Ollama API,建议放开跨域限制:
- 变量名:
OLLAMA_ORIGINS
- 变量值:
*
2.4 重启 Ollama 并测试 API 访问
1在「开始」菜单中找到并重新启动 Ollama。
2右键点击系统托盘中的 Ollama 图标,选择「View log」打开命令行窗口。
3分别执行以下命令,查看新配置的环境变量是否生效:
|
|
Ollama 常用命令
命令 | 说明 |
---|---|
ollama -v | 查看 Ollama 版本 |
ollama list | 查看已安装的模型 |
ollama rm <模型名称> | 删除指定模型 |
二、安装高性能AI推理模型DeepSeekR1
以管理员身份运行 命令提示符
复制命令,完成命令行安装。
DeepSeek-R1-Distill-Qwen-1.5B
|
|
DeepSeek-R1-Distill-Qwen-7B
|
|
注意:
如果使用 4-bit 量化,显存需求:
- 1.5B:约 1 GB
- 7B:约 4 GB
- 8B:约 4.5 GB
- 14B:约 8 GB
- 32B:约 18 GB
- 70B:约 40 GB
- 对于资源有限的用户,推荐使用 1.5B 或 7B 模型,它们可以在单张消费级显卡上运行。
- 如果需要更高的性能,可以选择 14B 或 32B 模型,但需要多 GPU 配置。
- 70B 模型适合高端计算环境,需要多张高端 GPU 支持。
安装完,就可以使用终端聊天,当前模型可以回答通用的问题。
模型和GPU显卡的适配表格以供参考:
模型 | 参数 (B) | VRAM 要求 (GB) | 推荐 GPU |
---|---|---|---|
DeepSeek - R1 - Zero | 671B | ~1,342 GB | 多 GPU 配置(例如,NVIDIA A100 80GB x16) |
DeepSeek - R1 | 671B | ~1,342 GB | 多 GPU 配置(例如,NVIDIA A100 80GB x16) |
DeepSeek - R1 - Distill - Qwen 1.5B | 1.5B | ~0.75 GB | NVIDIA RTX 3060 12GB 或更高 |
DeepSeek - R1 - Distill - Qwen 7B | 7B | ~3.5 GB | NVIDIA RTX 3060 12GB 或更高 |
DeepSeek - R1 - Distill - Llama 8B | 8B | ~4 GB | NVIDIA RTX 3060 12GB 或更高 |
DeepSeek - R1 - Distill - Qwen 14B | 14B | ~7 GB | NVIDIA RTX 3060 12GB 或更高 |
DeepSeek - R1 - Distill - Qwen 32B | 32B | ~16 GB | NVIDIA RTX 4090 24GB |
DeepSeek - R1 - Distill - Llama 70B | 70B | ~35 GB | 多 GPU 配置(例如,NVIDIA RTX 4090 x2) |
三、安装个人知识库 AnythingLLM
- 下载本地知识库运行平台AnythingLLM,这个平台用来连接DeepSeek,并在本地创建向量数据库。AnythingLLM下载地址:https://anythingllm.com/
- 根据自己电脑的操作系统选择相关版本,下载并安装
- 打开AnythingLLM后开始配置,选择大模型提供商Ollama和大模型DeepSeek,点击下一步
- 界面给出解释,私有数据以嵌入的方式处理数据,存到向量数据库,不懂原理没关系,后续再讲,直接下一步
- 调查问卷这一步也可以不填,直接下一步
- 填写工作区名称,继续下一步
- 创建好的工作区在左侧菜单栏,右侧刚开始的对话是使用向导
- 鼠标,悬浮到左侧菜单栏要操作的工作区,点击右侧的设置按钮,在聊天设置中选择大模型运行平台Ollama和大模型DeepSeek,在聊天提示部分,可以设置角色和上下文信息,设置完之后记得点击更新工作区。
|
|
- 点击左侧菜单栏工作区的上传按钮
- 上传文件(比如XXPDF文件)
- 上传成功后,点击移动到工作区
- 页面往下翻,看到文档已经加到了工作区,点击保存到向量数据库
- 点击钉到工作区
- 关闭弹窗,在左侧工作区下新开一个对话,对话内容会根据提供的文档回复。
- 到这里,个人知识库就安装成功了,DeepSeek摇身一变,成了专业的私人助理。
接下来
基本的私人助理打造完成,但是在运行速度、资料读取速度等方面还有极大的提升空间,初步构想:
(1)明确目前电脑能够运行文档容量和回答问题效率的极限;
(2)尝试在线大模型平台,比如 硅基流动,腾讯云;
(3)暂时还不清楚 MaxKB = Max Knowledge Base,是一款基于大语言模型和 RAG 的开源知识库问答系统,广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。需要进一步研究使用的必要性;
(4)工作站?
未来
美国人工智能初创公司Anthropic的CEO Dario Amodei 在采访中具体阐述了人工智能对人类劳动方式和社会模式可能产生的深远影响。他担心的是,如果AI只全面自动化了30%的工作,而剩下的70%仍然依赖人类劳动,这将带来巨大的社会分化。那些被AI替代的人可能陷入失业的泥沼,而那些能驾驭AI的人将迅速成为新的社会精英。这不是遥远的未来,而是我们很可能在未来几年内需要面对的现实。对于普通人来说,最可怕的并不是AI取代所有人类的工作,而是那种缓慢而无声的分化。在一些行业中,人类可能会发现自己越来越无用,收入减少,地位下降,而另一部分与AI协作密切的高技能人群却获得了更高的薪酬和更多的机会。
到那时,我们如何才能避免被边缘化?如何才能找到自己在AI时代的定位?
Dario提出了两点建议:
- 首先是掌握AI工具的使用能力。他说,在未来,熟练使用AI工具将是每个人的基本功,不懂AI就像现在不会用电脑一样,意味着被社会淘汰。
- 再就是培养批判性思维。他提醒说,随着AI生成技术的成熟,虚假信息、伪造的图像和视频会越来越多,而能够分辨这些信息真伪的人,才有可能在混乱的信息洪流中脱颖而出。换句话说,未来的竞争不仅仅是技术能力的竞争,更是思维能力的较量。
春回大地,岁启新程
YuVision,2025年2月3日(立春) 记。
参考
[2] 把DeepSeek秒变私人秘书