日期:2025/04/06 12:42来源:未知 人气:51
国内的大语言模型 DeepSeek 因在自然语言处理、代码生成和多轮对话等任务中的出色表现而备受关注。但使用时服务器繁忙的问题较为常见,将其部署到本地,便能无需依赖云端服务,享受 AI 带来的便利。本文将为你详细介绍 DeepSeek 本地部署的方法。
显卡 :GTX 1060 (6GB) 及以上,推荐 RTX3060 及以上。
内存 :容量 8GB,推荐 16GB 及更高。
存储空间 :C 盘剩余 20GB,推荐使用 NVMe 固态硬盘。
运行大语言模型的工具 LM Studio,这是一款专为本地运行大语言模型设计的客户端工具,支持多种开源模型,提供简单易用的界面,用户无需编写复杂代码即可加载和运行模型,且具备 “本地化” 特性,确保数据隐私和安全。官网地址:
lm
studi
o.ai
。
打开浏览器,访问 LM Studio 官网lmstudio.ai 。
点击下载对应操作系统的安装包。
下载完成后,双击运行安装包,按照提示完成安装。
安装完成后启动 LM Studio,进入用户界面。
进入 LM Studio 之后,点击右下角的设置图标(小齿轮),将语言改为简体中文
加载模型分为两种情况:
自行下载模型 :如果能自己找到各种不同版本的模型,下载到本地后,点击左上方文件夹的图标,选择模型目录导入即可。优点是可以选择自定义的模型,下载速度有保障。
在 LM Studio 中搜索下载 :在 LM Studio 的设置里,常规部分选中 “Use LM Studio's Hugging Face” 的复选框 ,然后点击左上方的搜索图标(放大镜),搜索 deepseek 即可找到各种不同版本的模型)。优点是使用简单,但是下载非常不稳定。
参数规模以 B(Billion,十亿)表示,数值越高,模型越复杂,理解和生成能力越强,但对系统性能要求越高,生成内容速度越慢。
1.5B :适合体验 / 尝鲜场景,文件大约 3GB,不太推荐。
7B :适合普通内容创作及开发测试场景,文件 8GB,推荐 16GB 内存 + 8GB 显存,适合大多数用户。
8B :在 7B 基础上更精细,适合对内容要求更高更精的场景,同样适合大多数用户。
14B :文件提升至 16GB,建议 12 核 CPU+32GB 内存 + 16GB 显存,适合专业及深度内容创作场景。更高的参数规模因硬件要求高、生成速度慢,不做推荐。
DeepSeek 的生成速度和显卡性能有很大关系,8B 模型在移动端 RTX 3060 上的生成速度约为 5 字 / 秒,在桌面端 RTX 3060 平台的生成速度约为 8 字 / 秒,14B 模型在桌面端 RTX 3060 平台的生成速度约为 2 字 / 秒,其他模型和配置可以近似估算,可根据自己的配置和需求选择参数规模。
部署完成之后,点击 LM Studio 左上方的对话框,然后在顶部选择要加载的模型即可。
开始前可以先在顶部的模型处设置上下文长度和 GPU 负载等。
模型加载完成之后就可以开始使用,在输入框输入问题,即可获取回答。
下载速度慢 :可以通过修改 LM Studio 的配置文件,将默认的 Hugging Face 镜像替换为国内镜像。
模型加载失败 :确保模型文件的扩展名为.gguf,并检查 LM Studio 是否为最新版本。
运行速度慢 / GPU 未调用 :确认已安装最新的 CUDA 驱动,并重启 LM Studio。
作者声明:内容由AI生成举报/反馈