一、下载安装 --Ollama
Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。
下载方式:
方式1:官网下载:
官网地址:https://ollama.com/download
如果官网地址一直卡住下载不下来,选用下面的方法
方式2:GitHub下载:
GitHub官方链接:https://github.com/ollama/ollama
点击GitHub链接,relase 跳转到要下载的资源文件,鼠标右击点击复制链接。如以下示例类型:
https://github.com/ollama/ollama/releases/download/v0.4.3/OllamaSetup.exe
替换如下域名加速:
https://github.xzc888.top/
替换之后示例为:
https://github.xzc888.top/ollama/ollama/releases/download/v0.4.3/OllamaSetup.exe
下载安装,打开cmd执行ollama -h
,回显成功:
PS C:\Users\Administrator> ollama -h
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve Start ollamacreate Create a model from a Modelfileshow Show information for a modelrun Run a modelstop Stop a running modelpull Pull a model from a registrypush Push a model to a registrylist List modelsps List running modelscp Copy a modelrm Remove a modelhelp Help about any commandFlags:-h, --help help for ollama-v, --version Show version informationUse "ollama [command] --help" for more information about a command.
打开ollama的Models:https://ollama.com/search
,搜索deepseek-r1,复制命令行执行即可。
如果你的显卡有8G以上显存,可以尝试7b的模型,如果没有就直接选择1.5b模型:
ollama run deepseek-r1
常用命令:
ollama list #获得已安装模型列表
ollama run llama3.1 #ollama run + 模型名 运行模型
ollama rm #ollama rm +模型名 删除模型
二、可视化页面 --Chatbox
下载Chatbox AI:https://chatboxai.app/zh
安装完成后进行如下设置即可:
参数说明:
Temperature(温度值),是大语言模型生成文本时用于调节输出随机性和多样性的参数。
- 数值越高,模型选择低概率词语的可能性越大,输出更加随机且富有创意;
- 数值越低,模型更倾向选择高概率词语,输出更确定且保守。
通过调整温度值,可在创造性和准确性之间进行平衡,以适应不同的应用场景。如创作者写文案可以调到最大。
另外,在专属对话设置中,还可以设置角色以及TopP:
TopP(又称核采样)是一种调节语言模型生成随机性的机制,通过对词汇的累积概率进行截断筛选,仅保留累积概率不超过阈值 p 的候选词,并从中按概率分布采样生成下一个词。
- 较高的 p 值(如 0.9 - 1.0):保留更多候选词,生成结果更具多样性,但也可能增加随机性。
- 较低的 p 值(如 0.1 - 0.3):保留更少的候选词,生成结果更加集中和确定。
与温度参数不同,TopP 动态地调整候选词的数量,适用于控制生成文本的随机性和连贯性。
提示词笔记:
1.真诚对话
帮我整理这份报告,我需要把这个报告上交给我的领导看,希望文字更加的清晰整洁,每一段话都能在句首列出重点;
2.通用公式
我要XX,要给XX用,希望能够达到XX效果,担心出现XX问题,帮我达到XX效果最大化;
举例:我要做一份旅游攻略,给我和女朋友旅游福建的时候用,希望能够更加提高我们的互动效果,能够达到更多的肢体接触,担心会不会出现太油腻太唐突的问题,帮我达到情侣感情升温的最大化,
3.问完问题之后,直接加上“说人话”这三个字
比如问“流体力学”是什么,一般情况会很官方的回答,但是如果你加上说人话三个字,那么将会很普通话的给你解析这个问题,适合;
4.反方向提问法
直接提问如果你是老板,你怎么批评这个方案?;这个结果你满意吗?请帮我复盘
5.反复问同一个问题;
Deepseek具有深度思考模型,如果你反复提问同一个问题,它就会总结累计回答的问题,为什么回答不够满意等,以及把思考的小细节显示出来,你会发现它的思考方式超级像一个逻辑能力超强的人类;
6.模仿思考
给一段谁谁的的语句,让它模仿学习,以它的思想去思考问题,比如,帮我以爱因斯坦的思想去思考这个问题,是否能够有什么解决方案
7.假设法
假设你是谈过10000次恋爱的感情达人;假设你是硅谷资深投资人,投过上百家互联网公司;假设你是健身教练,你应该怎么给你的学员准备增肌的一日三餐;
三、安装自己的知识库 --AnythingLLM
四、DeepSeek API使用
1,注册deepseek并生成apikey
deepseek的api平台:https://www.deepseek.com/
选中apikeys菜单 -》 创建API-KEY
官方文档:https://api-docs.deepseek.com/zh-cn/
本地调用案例如下:
curl http://127.0.0.1:11434/v1/chat/completions \-H "Content-Type: application/json" \-H "Authorization: Bearer <DeepSeek API Key>" \-d '{"model": "deepseek-r1","messages": [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "Hello!"}],"stream": false}'
其中model可以在本地cmd里查看:ollama list
。测试结果:
2,在idea插件codegpt中配置deepseek
打开idea的File->Settings->Tools->CodeGPT->Providers->Custom OpenAI
- Preset Template 选择 OpenAI
- API key 填入第二步中生成的key
- Chat Completions的URL填写
https://api.deepseek.com/v1/chat/completions
- 切换到Body,model配置为deepseek-reasoner(r1)或deepseek-chat(v3)