DeepSeek-R1本地部署实践

在这里插入图片描述

一、下载安装 --Ollama

Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。

下载方式:

方式1:官网下载:
官网地址:https://ollama.com/download
如果官网地址一直卡住下载不下来,选用下面的方法

方式2:GitHub下载:
GitHub官方链接:https://github.com/ollama/ollama
点击GitHub链接,relase 跳转到要下载的资源文件,鼠标右击点击复制链接。如以下示例类型:

https://github.com/ollama/ollama/releases/download/v0.4.3/OllamaSetup.exe

替换如下域名加速:

https://github.xzc888.top/

替换之后示例为:

https://github.xzc888.top/ollama/ollama/releases/download/v0.4.3/OllamaSetup.exe

下载安装,打开cmd执行ollama -h,回显成功:

PS C:\Users\Administrator> ollama -h
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelstop        Stop a running modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

打开ollama的Models:https://ollama.com/search ,搜索deepseek-r1,复制命令行执行即可。
如果你的显卡有8G以上显存,可以尝试7b的模型,如果没有就直接选择1.5b模型:

ollama run deepseek-r1

常用命令:

ollama list #获得已安装模型列表
ollama run llama3.1  #ollama run + 模型名 运行模型
ollama rm #ollama rm +模型名 删除模型

二、可视化页面 --Chatbox

下载Chatbox AI:https://chatboxai.app/zh

安装完成后进行如下设置即可:
在这里插入图片描述

参数说明:

Temperature(温度值),是大语言模型生成文本时用于调节输出随机性和多样性的参数。

  • 数值越高,模型选择低概率词语的可能性越大,输出更加随机且富有创意;
  • 数值越低,模型更倾向选择高概率词语,输出更确定且保守。

通过调整温度值,可在创造性和准确性之间进行平衡,以适应不同的应用场景。如创作者写文案可以调到最大。

另外,在专属对话设置中,还可以设置角色以及TopP:

在这里插入图片描述
TopP(又称核采样)是一种调节语言模型生成随机性的机制,通过对词汇的累积概率进行截断筛选,仅保留累积概率不超过阈值 p 的候选词,并从中按概率分布采样生成下一个词。

  • 较高的 p 值(如 0.9 - 1.0):保留更多候选词,生成结果更具多样性,但也可能增加随机性。
  • 较低的 p 值(如 0.1 - 0.3):保留更少的候选词,生成结果更加集中和确定。

与温度参数不同,TopP 动态地调整候选词的数量,适用于控制生成文本的随机性和连贯性。

提示词笔记:

1.真诚对话
帮我整理这份报告,我需要把这个报告上交给我的领导看,希望文字更加的清晰整洁,每一段话都能在句首列出重点;

2.通用公式
我要XX,要给XX用,希望能够达到XX效果,担心出现XX问题,帮我达到XX效果最大化;
举例:我要做一份旅游攻略,给我和女朋友旅游福建的时候用,希望能够更加提高我们的互动效果,能够达到更多的肢体接触,担心会不会出现太油腻太唐突的问题,帮我达到情侣感情升温的最大化,

3.问完问题之后,直接加上“说人话”这三个字
比如问“流体力学”是什么,一般情况会很官方的回答,但是如果你加上说人话三个字,那么将会很普通话的给你解析这个问题,适合;

4.反方向提问法
直接提问如果你是老板,你怎么批评这个方案?;这个结果你满意吗?请帮我复盘

5.反复问同一个问题;
Deepseek具有深度思考模型,如果你反复提问同一个问题,它就会总结累计回答的问题,为什么回答不够满意等,以及把思考的小细节显示出来,你会发现它的思考方式超级像一个逻辑能力超强的人类;

6.模仿思考
给一段谁谁的的语句,让它模仿学习,以它的思想去思考问题,比如,帮我以爱因斯坦的思想去思考这个问题,是否能够有什么解决方案

7.假设法
假设你是谈过10000次恋爱的感情达人;假设你是硅谷资深投资人,投过上百家互联网公司;假设你是健身教练,你应该怎么给你的学员准备增肌的一日三餐;

三、安装自己的知识库 --AnythingLLM

四、DeepSeek API使用

1,注册deepseek并生成apikey

deepseek的api平台:https://www.deepseek.com/
选中apikeys菜单 -》 创建API-KEY
官方文档:https://api-docs.deepseek.com/zh-cn/

本地调用案例如下:

curl http://127.0.0.1:11434/v1/chat/completions \-H "Content-Type: application/json" \-H "Authorization: Bearer <DeepSeek API Key>" \-d '{"model": "deepseek-r1","messages": [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "Hello!"}],"stream": false}'

其中model可以在本地cmd里查看:ollama list。测试结果:
在这里插入图片描述

2,在idea插件codegpt中配置deepseek

打开idea的File->Settings->Tools->CodeGPT->Providers->Custom OpenAI

  • Preset Template 选择 OpenAI
  • API key 填入第二步中生成的key
  • Chat Completions的URL填写https://api.deepseek.com/v1/chat/completions
  • 切换到Body,model配置为deepseek-reasoner(r1)或deepseek-chat(v3)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/894435.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【leetcode详解】T598 区间加法

598. 区间加法 II - 力扣&#xff08;LeetCode&#xff09; 思路分析 核心在于将问题转化&#xff0c; 题目不是要求最大整数本身&#xff0c;而是要求解最大整数的个数 结合矩阵元素的增加原理&#xff0c;我们将抽象问题转为可操作的方法&#xff0c;其实就是再找每组ops中…

【最后203篇系列】004 -Smarklink

说明 这个用来替代nginx。 最初是希望用nginx进行故障检测和负载均衡&#xff0c;花了很多时间&#xff0c;大致的结论是&#xff1a;nginx可以实现&#xff0c;但是是在商业版里。非得要找替代肯定可以搞出来&#xff0c;但是太麻烦了&#xff08;即使是nginx本身的配置也很烦…

Ubuntu 22.04系统安装部署Kubernetes v1.29.13集群

Ubuntu 22.04系统安装部署Kubernetes v1.29.13集群 简介Kubernetes 的工作流程概述Kubernetes v1.29.13 版本Ubuntu 22.04 系统安装部署 Kubernetes v1.29.13 集群 1 环境准备1.1 集群IP规划1.2 初始化步骤&#xff08;各个节点都需执行&#xff09;1.2.1 主机名与IP地址解析1.…

基于SpringBoot的新闻资讯系统的设计与实现(源码+SQL脚本+LW+部署讲解等)

专注于大学生项目实战开发,讲解,毕业答疑辅导&#xff0c;欢迎高校老师/同行前辈交流合作✌。 技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;…

【Linux系统】计算机世界的基石:冯诺依曼架构与操作系统设计

文章目录 一.冯诺依曼体系结构1.1 为什么体系结构中要存在内存&#xff1f;1.2 冯诺依曼瓶颈 二.操作系统2.1 设计目的2.2 系统调用与库函数 一.冯诺依曼体系结构 冯诺依曼体系结构&#xff08;Von Neumann Architecture&#xff09;是计算机的基本设计理念之一&#xff0c;由…

消息队列应用示例MessageQueues-STM32CubeMX-FreeRTOS《嵌入式系统设计》P343-P347

消息队列 使用信号量、事件标志组和线标志进行任务同步时&#xff0c;只能提供同步的时刻信息&#xff0c;无法在任务之间进行数据传输。要实现任务间的数据传输&#xff0c;一般使用两种方式&#xff1a; 1. 全局变量 在 RTOS 中使用全局变量时&#xff0c;必须保证每个任务…

【NLP251】Transformer精讲 残差链接与层归一化

精讲部分&#xff0c;主要是对Transformer的深度理解方便日后从底层逻辑进行创新&#xff0c;对于仅应用需求的小伙伴可以跳过这一部分&#xff0c;不影响正常学习。 1. 残差模块 何凯明在2015年提出的残差网络&#xff08;ResNet&#xff09;&#xff0c;Transformer在2016年…

Android学习制作app(ESP8266-01S连接-简单制作)

一、理论 部分理论见arduino学习-CSDN博客和Android Studio安装配置_android studio gradle 配置-CSDN博客 以下直接上代码和效果视频&#xff0c;esp01S的收发硬件代码目前没有分享&#xff0c;但是可以通过另一个手机网络调试助手进行模拟。也可以直接根据我的代码进行改动…

DeepSeek Janus-Pro:多模态AI模型的突破与创新

近年来&#xff0c;人工智能领域取得了显著的进展&#xff0c;尤其是在多模态模型&#xff08;Multimodal Models&#xff09;方面。多模态模型能够同时处理和理解文本、图像等多种类型的数据&#xff0c;极大地扩展了AI的应用场景。DeepSeek(DeepSeek-V3 深度剖析&#xff1a;…

OpenGL学习笔记(五):Textures 纹理

文章目录 纹理坐标纹理环绕方式纹理过滤——处理纹理分辨率低的情况多级渐远纹理Mipmap——处理纹理分辨率高的情况加载与创建纹理 &#xff08; <stb_image.h> &#xff09;生成纹理应用纹理纹理单元练习1练习2练习3练习4 通过上一篇着色部分的学习&#xff0c;我们可以…

代理模式——C++实现

目录 1. 代理模式简介 2. 代码示例 1. 代理模式简介 代理模式是一种行为型模式。 代理模式的定义&#xff1a;由于某些原因需要给某对象提供一个代理以控制该对象的访问。这时&#xff0c;访问对象不适合或者不能直接访问引用目标对象&#xff0c;代理对象作为访问对象和目标…

攻防世界 fileclude

代码审计 WRONG WAY! <?php include("flag.php"); highlight_file(__FILE__);//高亮显示文件的源代码 if(isset($_GET["file1"]) && isset($_GET["file2"]))//检查file1和file2参数是否存在 {$file1 $_GET["file1"];$fi…

Vue 响应式渲染 - 列表布局和v-html

Vue 渐进式JavaScript 框架 基于Vue2的学习笔记 - Vue 响应式渲染 - 列表布局和v-html 目录 列表布局 简单渲染列表 显示索引值 点击变色 V-html 作用 注意 采用策略 应用 总结 列表布局 简单渲染列表 Data中设置状态&#xff0c;是一个数组格式的默认信息。 然后…

LLMs之OpenAI o系列:OpenAI o3-mini的简介、安装和使用方法、案例应用之详细攻略

LLMs之OpenAI o系列&#xff1a;OpenAI o3-mini的简介、安装和使用方法、案例应用之详细攻略 目录 相关文章 LLMs之o3&#xff1a;《Deliberative Alignment: Reasoning Enables Safer Language Models》翻译与解读 LLMs之OpenAI o系列&#xff1a;OpenAI o3-mini的简介、安…

AI开发学习之——PyTorch框架

PyTorch 简介 PyTorch &#xff08;Python torch&#xff09;是由 Facebook AI 研究团队开发的开源机器学习库&#xff0c;广泛应用于深度学习研究和生产。它以动态计算图和易用性著称&#xff0c;支持 GPU 加速计算&#xff0c;并提供丰富的工具和模块。 PyTorch的主要特点 …

Python安居客二手小区数据爬取(2025年)

目录 2025年安居客二手小区数据爬取观察目标网页观察详情页数据准备工作&#xff1a;安装装备就像打游戏代码详解&#xff1a;每行代码都是你的小兵完整代码大放送爬取结果 2025年安居客二手小区数据爬取 这段时间需要爬取安居客二手小区数据&#xff0c;看了一下相关教程基本…

OpenCV:开运算

目录 1. 简述 2. 用腐蚀和膨胀实现开运算 2.1 代码示例 2.2 运行结果 3. 开运算接口 3.1 参数详解 3.2 代码示例 3.3 运行结果 4. 开运算应用场景 5. 注意事项 6. 总结 相关阅读 OpenCV&#xff1a;图像的腐蚀与膨胀-CSDN博客 OpenCV&#xff1a;闭运算-CSDN博客 …

JavaWeb入门-请求响应(Day3)

(一)请求响应概述 请求(HttpServletRequest):获取请求数据 响应(HttpServletResponse):设置响应数据 BS架构:Browser/Server,浏览器/服务器架构模式。客户端只需要浏览器就可访问,应用程序的逻辑和数据都存储在服务端(维护方便,响应速度一般) CS架构:Client/ser…

【SLAM】于AutoDL云上GPU运行GCNv2_SLAM的记录

配置GCNv2_SLAM所需环境并实现AutoDL云端运行项目的全过程记录。 本文首发于❄慕雪的寒舍 1. 引子 前几天写了一篇在本地虚拟机里面CPU运行GCNv2_SLAM项目的博客&#xff1a;链接&#xff0c;关于GCNv2_SLAM项目相关的介绍请移步此文章&#xff0c;本文不再重复说明。 GCNv2:…

罗格斯大学:通过输入嵌入对齐选择agent

&#x1f4d6;标题&#xff1a;AgentRec: Agent Recommendation Using Sentence Embeddings Aligned to Human Feedback &#x1f310;来源&#xff1a;arXiv, 2501.13333 &#x1f31f;摘要 &#x1f538;多代理系统必须决定哪个代理最适合给定的任务。我们提出了一种新的架…