- 搜索
日期：2025/04/01 09:28来源：未知 人气：53
我是云可赠人，一个神往周清河老师的北派紫微斗数爱好者。关注我，您想看的这里都有。
作为一个斗数爱好者，俗称的玄学佬，面对充溢着“DeepSeek算命”话题的网络，当然总要尝尝螃蟹的味道。
于是笔者花了近一个月时间，终于把DeepSeek怎么本地部署？怎么训练？这个链路全部走通了。
文章稍长，但如果你想打造一个私有的DeepSeek“玄学神器” ，请耐心看下去，毕竟可以减少你几周甚至更长的摸索时间！
有的读者在部署训练过程中，可能遇到过类似的问题，文中都有答案：
“为什么本地部署的DeepSeek要比网上的傻好多？”
“为什么我教了DeepSeek半天，它总是过了就忘了？”
“为什么给DeepSeek上传了那么多斗数八字资料，它就是不会总结出有用的东西？”……
下面且跟着笔者来看看怎么玩DeepSeek，盘他！
之前的大模型（准确说叫“大型语言模型”，简称LLM），因为都是那些AI公司部署的，提供给大家使用，训练出来的结果，都是那些公司拥有。
如果某一天，该公司不给用了（或者倒闭了），你训练的数据，也就不能用了，另外，训练出来的结果是共享的，所有人都能访问，说通俗一点，你的训练就是帮AI公司的忙——“给人做嫁衣”。
DeepSeek出现之后，让大模型需要的算力大幅降低，相当之前要几百万的硬件设备才能跑起来的大模型，DeepSeek能让用几十万的设备就跑起来，关键是性能并不比国外的那些大模型差多少，并且一些蒸馏版本，家用电脑上都能跑起来，这个就为我们在家里部署DeepSeek提供了可能。这也是目前DeepSeek爆火的主要原因之一。
本地部署DeepSeek主要是不用联网，可以断网运行，数据保密性好。
我们来看看什么人对本地部置DeepSeek有需求呢？应用场景如下：
张三：我有祖传十八代的算命秘籍，可以放到DeepSeek上面训练，让大模型直接给出结果，我也不担心祖传秘籍泄露出去了。
李四：我有三十年的实战论命经验，正好训练DeepSeek帮我总结归纳一下，整理出来，也不担心这些实战经验会泄露出去。
王五：我学了几年的八字斗数一直不得入门，现在好了，本地部署之后，可以根据自己的爱好需求，让DeekSeep把市面上的资料都读一遍，帮我把有用的关键资料总结出来，让我的学习更有效力，八字斗数水平突飞猛进！
以上等等，DeepSeek在玄学领域的应用还很多，至于说大模型用来算命，那是家喻户晓的基本功能了。
知道DeepSeek本地部署有什么用了，那我们也就可以开始折腾了，毕竟“千里之行，始于足下”。
安装DeepSeek大模型之前，我们需要安装一种软件，叫做“本地化大模型运行工具”（简称“LLM平台工具”）。
打个比喻，DeepSeek只是一台“发动机”，“本地化大模型运行工具”就象一台“通用的外壳”，有驾驶室、车轮这些，你可以换不同的发动机（大模型）上去尝试，看看哪款最适合你。
目前LLM平台工具，最常用的有“Ollama”和“LM Studio”两种，当然还有许多，不过笔者主要试过这两种，就简单介绍一下这两种，至于说安装配置过程，现在全网都是教程，随便一搜就有，如果展开细说，估计这篇文章得写成很多期的连载才行，所以这里就不多讲了。玩不清楚的，也可以在文章中留言。
这两个软件安装完的图标长这样：
Ollama：安装部署简单，下载模型也方便。但是只能用命令行操作，对初学者稍有不便，不过话说回来，如果最简单的命令行都不能搞定，后面漫漫长路，还怎么走？
LM Studio：安装部署简单，但是下载模型，就很头大了，因为他的模型仓库国内无法直接访问，科学上网也不行，并且下载的网速也没Ollama那么快。需要用VS Code之类的软件，把软件中涉及到的网站，替换成国内镜像网站才行。
总之笔者第一次使用LM Studio时，是花了不少时间和精力才搞定的。后面看有人说，勾选设置中“Use LM Studio's Hugging Face Proxy”就可以，但是我试了没用，有可能是个人网络问题，此处留给大家参考。
LM Studio的优点是模型超多，各种“量化”（留待后面解释）大小的模型都有，并且上面还有苹果电脑专用的MLX格式的模型（比GGUF格式的速度会更快些）。
（注：在ollama和LM Studio中，都可以把其他方式下载的模型文件导入，具体步骤想了解的可以留言。）
为什么LM Studio上面模型超多？因为DeepSeek开源发布出来后，张三优化改动一下发布，就成了 张三的DeekSeep，李四改动优化一下发布，就成了李四的DeepSeek，当然上面也有一些大神优化后的模型，确实很好用，但是笔者也遇到过优化傻了的模型，所以此处建议先使用官方发布的模型。
此处根据上手难度，不喜欢折腾的可以ollama，喜欢折腾的可以用LM Studio。
我们先看看ollama网站上的DeepSeek模型截图：
可以看到DeepSeek模型有1.5b、7b、8b、14b、32b、70b、671b这几种类型。“b”是指参数的单位，1b为十亿，1.5b就是15亿参数，同理671b就是6710亿参数 。
这个参数，可以简单理解成大模型储存知识的深度和广度，而深度和广度，也就影响了模型推理结果的准确度。
那是不是大模型参数越多越好呢？当然是这样的，不过我们还要考虑部署成本 的问题。
上面图中，比如1.5b的后面，有1.1GB，后面这个数字，就是模型的大小，真正运行起来，如果有显卡的话，模型正常是要全部加载到显卡里面。就笔者个人测试，ThinkPad X270的集显电脑，跑7b的模型，大约每秒能蹦出两个字左右，再大的模型就基本上几十秒出一个字，没有可用性了。
所以家里电脑，显卡显存比较大的，可以跑14b的模型，再高端些电脑，显存达到24G的，应该跑32b是没问题。这里为什么说显存而不是说内存呢？因为显存的运算速度远远超过内存的速度，相当于显存一分钟干完的活（简单比喻不考虑带宽这些复杂因素了），内存要干半小时一小时才行。而跑671b模型的专业级显卡，动辄几百万一张的费用，并且技术封锁还不允许卖到国内。
划个重点： 这就是为什么漂亮国要封锁我们高端显卡的原因，让你有没好用的硬件，让你的AI产业发展不起来，这也是“黄皮衣”嚣张的原由。虽然DeepSeek的出现 ，暂时性刺激了对“黄皮衣家”显卡的需求增长，但是他绕过了“皮衣厂”的CUDA技术专利，给AMD、国产显卡的这些厂商，指明了突围的道路，宣告漂亮国的技术封锁已经宣告破产 ，现在需要的只是时间，让这些厂商，把低价高性能的产品研发出来，打破封锁。这也就是DeekSeep创始人能被高层接见的意义所在 ，据说梁大佬过年回家，都是特警护送和外围警戒的，所以也有人称DeepSeek的出现是“国运”级的 。
扯远了，接着说DeepSeek的参数，671b的俗称“满血版”，是官方部署的版本 。而其他版本，可以简单理解成是“满血版”的“减肥版本” ，是把671b版本再用其他模型蒸馏之后的版本，假设671b版本，做题能做100分，那么70b版本，大概能得85分，32b版本大概能得80分，14b版本大概能得75分，这个分数并不贴切，只是让大家清楚不同参数的模型是有差异的。
另外，只有671b的版本是DeepSeek公司开发的模型，70b、8b是在开源模型“llama” 的基础上蒸馏出来的，32b、14b、7b、1.5b是在开源模型“Qwen” 的基础上蒸馏出来的。
这里说的“蒸馏”，就像用671b模型这个“老师”，让他去训练其他模型的这些“学生”，使这些学生某种程度上学会老师的技 能。
另外说一下Qwen （千问）模型，是阿里开源的，后面Qwen2.5-1M的版本，我把同样14b的，和DeepSeek对比了一下，在生成文本方面，词句的优美、理解文义，要稍强于DeepSeek，但是在逻辑推理方面，则稍弱于DeepSeek，这只是个人感受，供大家参考。还有DeepSeek 32b是基于Qwen蒸馏的，有说其性能和70b基于llama蒸馏的差不多，因为两种参数的模型我都没装过，在此列出给大家参考。
另外说一下苹果电脑（主要是M系列芯片的），他的内存基本等同于显存；不像台式机，配完内存要配显卡，估计这是硬件市场划分利益导致的。
所以苹果电脑，可以根据自己的内存，选择相应参数的模型（比如笔者的16G内存的MacBook就装了14b的模型），而台式机更多的是需要根据显卡的显存来选择。（目前清华大学团队有开源KTransformers项目，相当于是把大模型常用数据的放到显存中，不常用的放到内存中，减少显存需求的同时，保持一定的速度 ，感兴趣的可以网上搜索关注一下）。
通俗地总结一下：
1.5b是尝鲜版，手机都能装；
7b是普通集显笔记本电脑能装的上限，至少要有8G内存；
14b是内存有16G以上，并且是高配显卡的电脑可以安装的；
32b是高端家用电脑，内存32G、显示24G左右的可以安装的。
当然，你可以都安装体验一下，找到最适合自己的，不行的再删除，对系统没什么影响。
不过千万要注意C盘留出足够空间！！！
说完参数，该说“量化”了。
什么是量化？
笔者曾听人说过，自己安装的本地安装的14b的模型，和网上的14b感觉就不一样，傻了好多。
其实这个就是量化的原因。为了能本地部署，一方面通过减少参数，给模型“减肥”，但是对于家用电脑来说，模型还是很大，还需要再降大小，这时候就要把储存每个字节的大小再减少。
比如是fp16精度储存的数据，减少到了Q8、Q6、Q5、Q4，甚至Q1.5等精度储存，模型的体积也就跟着“减肥”下来了，相应的损失呢？当然是有时候回答问题智商不在线了。
我们在ollama网站上面下载的DeepSeek，也就是上面截图中的，基本都是Q4的版本。比如笔者的苹果电脑是16G，装14b参数、Q4精度版本的模型，大小为9G正合适，但如果装同样14b参数、fp16精度版本的模型，大小为22G，超过显存大小，俗称“爆显存”，直接卡的半天不出一个字了。如果你想用其他精度的模型，那么可以试试折腾“LM Studio”，如果硬盘空间够大，把它和ollama一块都安装上也是可以的。
所以，量化也是有利有弊，还是根据自己的电脑配置选择合适的最好 。
好了，知道根据电脑配置，选择用什么大小的模型，是不是就可以开始训练模型了呢？
笔者就曾遇到过同好在抱怨：那个傻A模型，盘都排错了，我教他半天，教对了，结果过一会他又错了！忘了我之前怎么教的了。
其实大家对大模型有个误解，认为和他聊天，就是训练他了。但是目前的模型，是没有记忆功能的，他的记忆功能其实也就是你本次聊天的对话记录 （每次提问会把之前的聊天记录一同上传），如果你新开一个对话，大模型对之前的对话内容是不清楚的。
大模型的功能，主要是依据他拥有的知识（参数的数量），来进行一个推理（并且有时候会“反思”） 。
但是大模型拥有的知识，有某些领域，并不是很专业。比如斗数吧，一个排盘问题，就可以让大模型懵掉，当然更懵的是玄学佬，这怎么和传说中“无所不能”的AI不一样呢 。
所以就引出了训练大模型的问题。
如何训练，目前应该主要是有两种方式，一种是RAG（检索增强生成），一种是微调大模型。
RAG方式，就是建立一个知识库，先把与问题相关的内容在知识库中搜索出来，然后再把这些知识提供给大模型进行推理 。这也是目前难度较低的，比如现在许多软件上面的在线AI客服，基本都是这种方案。
微调方案，实则是把需要调整的数据，直接加入到大模型的参数中 。比如问大模型“如何起命宫？”，大模型可能会东扯西扯，给你扯一大堆，最后给出似是而非的东西。如果你加入一段数据，即遇到“如何起命宫”这个问题，直接回答“寅上起正月顺数到生月，再从生月起子时，逆数到生时”，这样就能得到你想要的答案了。
那这样反复添加不同问题，是不是大模型就会很专业、很聪明了呢？
结果然而——并不是！
因为每添加一次数据，都需要修改许多参数，我看有的说要反复训练十遍（也需要非常高的硬件配置），还要检查结果反馈是不是一条什么平滑的曲线。因为太专业了，笔者非IT专业，实在是看不下去那些充满专业术语的文献，于是就被“微调”劝退了。
如果只加参数，不反复训练调整，会怎么样呢？说简单些，大模型会被你练傻了，变成一个“白-痴”或者胡说八道、答非所问的“神经病” 。
所以，下面主要介绍一下RAG的训练方式。
检索增强生成的RAG软件，常见的有两种，“AnythingLLM”和“Dify”。
AnythingLLM长这样：
优点是：简单容易上手。缺点是：简单容易上手。 因为简单，好多你想调整的没办法可调。
然后笔者又安装Dify。Dify是依托在Docker软件中，创建一个“容器”运行的，安装比较复杂，第一次安装，结果有两个Dify的服务死活没有启动成功，导致打不开设置页面，搜了N多资料也没能解决，只好放弃。
后来在另外一台电脑上，一次就莫名其妙地安装成功了。过程比较复杂，不展开说了，大家网上找教程吧，有问题可以在留言区探讨。
但是，用了Dify之后，就回不去了 ，什么AnythingLLM，一边去吧，因为Dify功能太强大了！特别是“工作流 ”，可以构建数据的流向，加入条件判断那些，大模型在其中可以只是一个环节，意味着你能把控更多的细节。
比如，工作流中可以加入python代码，你可以用python语言，直接生成一个准确的命盘，然后把这个命盘传递给大模型分析，你就不用担心大模型起的命盘正确不正确了。
Dify的界面如下，以及笔者学习“吴恩达翻译”的一个例子。
通过学习和重现Dify上的“吴恩达翻译”案例，笔者才真正感觉到Dify的强大。 这个案例中，调用了三次大模型，角色都是“专业的语言工作者”。第一次调用进行初始翻译；第二次调用，对第一次的翻译进行反思，提出批评性和建设性的意见；第三次调用，把第一次的初始翻译、结合批评性和建设性的意见，进行一下优化结合。最后得出的翻译结果是非常优秀的。
但是，Dify的缺点，就是专业门槛有些高，需要一些基础，爱琢磨才行。
这个问题其实也是很多人反映的，我在AnythingLLM或Dify中，上传了许多资料，为什么检索出来的内容，并不是我想要的呢？再说通俗点，我给它上传了那么多书，为什么它就是学不会，总结不出我想要的东西呢？
有人想把市面上的斗数资料全部喂给大模型，让大模型学习之后，找到最有用的内容，那么下面的步骤，就是你绕不过的坎。
我们上传的资料，其实并不是RAG软件可以直接查询的，而是要把文本，分成非常多的小段落，储存到向量数据库中，然后再根据你提问的关键词进行查询。
如何把文本分段和去重复，比如ollama平台上面也有一些专门处理文本的模型，如“nomic-embed-text”、“bge-m3”等，可以调用处理文本。
但是斗数书上都语焉不详的东西，文本分割之后会怎么样呢？更不用说那些命盘、图片识别之后是一堆格式混乱的文字了。
这里涉及专业一些的术语，叫“数据清洗”。数据清洗是保证数据有效性，至关重要的一步，“目的是删除重复信息、纠正存在的错误，并提供数据一致性 ”。
只有经过清洗后的有效数据，检索出来的才会是想要的结果。而市面上那些斗数资料乱七八糟的，如何清洗？
反而是斗数的星性这部分内容，比较容易整理归类，所以大家看到的DeepSeek分析斗数命盘，几乎都是从星性的角度分析，原因也就在于此了 。
再说说数据有效性，大家基本上都看过《民法典》吧，里面的条款，没重复的、多余的话，每条表述的内容都很清晰，这就是非常标准的有效数据。大家可以把民法典上传到RAG软件中，再去大模型中提问相关问题，大模型一下子就变成一个资深的民法典专家了。
好了，各位玄学佬，看到这儿，相当于电影已经看完大结局，相信你对DeepSeek的本地部置和训练应该也有了一个比较清晰的认识，可以慢慢开始打造自己的DeepSeek“玄学神器”了。
不过，笔者个人觉得，非IT专业的人士、或者没有这个精力、财力搞的，可以先放一放。原因如下：
一是过段时间硬件的价格应该会慢慢降下来，可以配置更好的硬件，用更优秀的模型。 当然你目前有配置不错的电脑，还是可以先装个大模型玩玩。
二是听说DeepSeek后面的R2版本可能要推出了。 据说除了各种能力的进化，还有了永久记忆的功能，也就是你和他对话，纠正他，他都能记住了，这就为我们训练大模型提供更方便的途径。 现在存在的问题，到那时都不是问题了！
以上就是笔者研究DeepSeek本地部署与训练的一些心得，提供给后面入坑的同好看看，希望大家能少走些弯路。
部署中遇到的问题，都可以在评论区留言！感谢你的阅读！
下一篇：deepseek怎么训练
