deepseek本地部署
配置:
建议配置
运行内存16GB+
显卡:4060+
操作系统:win11/win10
存储:512GB+
一、安装Python 3.11环境(参见)
超详细的Python安装和环境搭建教程_python安装教程-CSDN博客
二、安装Docker
Docker 安装 (完整详细版)_docker安装-CSDN博客(他这个是linux的,咱们安装win的即可,操作命令win的有些许不同,像平常的软件一样安装就行,如果打开有黑框,升级更新即可,只不过服务源要换到国内的,下面是更换方法)
1、打开软件,登陆后来到设置,如下图所示
把我下文中的内容粘进去,保存即可
粘入的内容:
{"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"features": {"buildkit": true},"registry-mirrors": ["https://82m9ar63.mirror.aliyuncs.com","http://hub-mirror.c.163.com","https://docker.mirrors.ustc.edu.cn"]
}
三、下载ollama
链接如下:
奥拉马https://ollama.com/参考部署文章:深度搜索-R1
不看这个跟着来也行:
win+R cmd 打开命令窗口:
版本:1.5b,适用于一般文字编辑使用(需要1.1GB空余空间)
ollama run deepseek-r1:1.5b
版本:7b,DeepSeek的第一代推理模型,性能与OpenAl-01相当,包括从基于Llama和Qwen的DeepSeek-R1中提取的六个密集模型(需要4.7GB空余空间)
ollama run deepseek-r1:7b
版本:8b,(需要4.9GB空余空间)
ollama run deepseek-r1:8b【本文用的是这个】
版本:14b,(需要9GB空余空间)
ollama run deepseek-r1:14b
版本:32b,(需要20GB空余空间)
ollama run deepseek-r1:32b
版本:70b,(需要43GB空余空间)
ollama run deepseek-r1:70b
版本:671b,(需要404GB空余空间)
ollama run deepseek-r1:671b
上面的命令,随便选一个,然后运行等待即可
运行完后大致是这样:
四、部署可视化界面
保持网络链接,关闭命令窗口,重新win+r cmd 打卡,使用以下命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
参考:【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程,没有连接互联网一样可以使用AI大模型!!!_ollama webui-CSDN博客
安装完后:localhost:3000
登录按照格式随便填即可
五、此时因为模型初次部署,可能存在互相认不到的情况
1、重新启动计算机
2、重启后先打开:ollama【没错就是那个羊驼】
3、打开Docker Desktop
点击小三角,运行系统
打开浏览器
输入:Open WebUIhttp://localhost:3000/
登录后,来此选择部署的大模型:
此时完成部署:
结合思路:
基于Deepseek离线部署能力,且大小使得多数系统可接受。
那么基于当前训练模型,针对不同情况进行针对性算法训练,比如你是一个厨师,那就只会做饭,会很多菜谱,基于行为模式进行模型训练部署,极大的减少模型尺寸,提高系统运行效率。
当然也可根基此逻辑,比如让游戏的人物自由的与玩家对话,根据不同的人物性格,赋予不同的AI大模型训练方向,甚至是智能家居等等
Deepseek【基于语言开源离线模型修改部署,其他的暂未测试】+unity模拟逻辑运行,如下:
在unity中启用Python,部署房间场景环境:
然后我们创建好人物,部署好动画和状态机FSM或behavior tree都行,这里我用的是behavior tree,原理都是一样的,只不过后者有可视化,直观点
然后我们在对应的位置创建好逻辑交互点(逻辑交互范围)
然后编写代码调用DeepSeek,调用逻辑如下:
1、发出指令
比如:机器人去做一道菜
2、描述厨房关键点环境信息(比如厨房有水槽、切菜板、灶火...)
3、让deepseek做菜时,依照首先、其次、然后、接着....关键顺序词逻辑进行描述
4、以关键词进行分割,建立任务队列(代码体现就是个栈),执行分割后关键词内的关键信息内容,对应去执行
5、调用寻路算法,按照队列,触发对应行为树操作逻辑,并触发动画,通过分割任务,让deepseek完成任务逻辑的命令下达,然后分配队列,完成操作
6、执行完后自动结束任务,下图为通过deepseek下达加热冰箱食物任务,目标人物已经完成从冰箱取出食物,移动到微波炉,当前是已放入食物后,机器人在加热等待的场景
虚幻引擎同理