在Windows系统中本地部署属于自己的大语言模型(Ollama + open-webui + deepseek-r1)

文章目录

      • 1 在Windows系统中安装Ollama,并成功启动;
      • 2 非docker方式安装open-webui
      • 3下载并部署模型deepseek-r1


  • Ollama
    Ollama 是一个命令行工具,用于管理和运行机器学习模型。它简化了模型的下载与部署,支持跨平台使用,包括 Windows、Linux 和 MacOS 系统。用户可以通过 Ollama 访问丰富的模型库,如 Qwen、Llama 等,并支持自定义模型参数。

  • open-webui
    open-webui 是一个用户友好的 Web 界面,用于与大型语言模型进行交互。它提供了一个直观的图形用户界面,使用户能够更方便地与模型进行交互。类似于chatgpt的web界面;

  • deepseek-r1
    DeepSeek-R1 是由中国公司 DeepSeek 开发的大型语言模型。它以成本效益高和开放性受到科学家的欢迎,能够生成类似于人类推理过程的逐步响应。


1 在Windows系统中安装Ollama,并成功启动;

  • 在ollama官网中下载OllamaSetup.exe;
    在这里插入图片描述
  • 点击OllamaSetup.exe进行安装;按照提示一步步安装;
    在这里插入图片描述
  • 安装完成以后,直接去系统托盘里面查看ollama是否已经启动,存在则代表启动成功;后面第二次启动则像下图一样;
    在这里插入图片描述
  • 这个时候其实已经可以在CMD窗口中,通过ollama下载开源的大语言模型,并在本地进行部署,下图就是以Google的开源模型gemma2为例子;
    在这里插入图片描述
  • 在ollama的library网页可以查看ollama可以下载并部署的大语言模型,如下图选择的就是deepseek-r1:14b模型;
  • “B” 指的是模型的参数数量,例如"7B"即这个模型有70亿(Billion)个参数。
  • 参数是机器学习模型中用来从数据中学习的变量。
  • 参数数量是衡量模型复杂度和容量的一个指标,通常参数数量越多,模型的表达能力越强,但同时也需要更多的数据和计算资源来训练。
  • 所以在本地部署模型的时候,要根据电脑配置选取合适参数变量的模型;
    在这里插入图片描述

2 非docker方式安装open-webui

使用 PyCharm 作为集成开发环境(IDE),并结合 Miniconda 来管理 Python 环境和依赖

    1. pycharm创建项目(按需命名),miniconda创建虚拟环境,注意创建时选用的python版本需要大于等于3.11;
      在这里插入图片描述
    1. 在pycharm终端确认虚拟环境已经激活,然后通过以下命令安装open-webui,安装过程会有些慢;
  pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui

在这里插入图片描述

  • 安装的时候会在这个地方卡很久,请耐心等待5-10mins左右;
    在这里插入图片描述

  • 3.通过以下命令启动open-webui,下图是我第二次启动的样子,第一次应该会比较慢,需要安装很多依赖包;如果过程中出现安装失败的情况,就需要科学上网解决;或者访问这个视频网址,根据up主的方式去解决;

open-webui serve       

在这里插入图片描述

  • 4.根据上面的信息,open-webui是部署在本机的8080端口上,所以通过以下网址可以进行访问,访问以后来到注册界面,如下图,这个注册只需要填写信息即可注册,且第一个注册人员就是管理员;
localhost:8080

在这里插入图片描述

    1. 成功登陆以后界面如下,将界面语言设置成简体中文;
      在这里插入图片描述

3下载并部署模型deepseek-r1

  • 1.在open-webui中按照下图标注打开管理模型的界面;
    在这里插入图片描述

  • 2.点击标注的地方;
    在这里插入图片描述

  • 3.按照以下标注顺序下载和部署模型
    在这里插入图片描述

  • 下载完成以后,就可以按照下图,在“新对话”的界面中选取部署好的模型,然后就能正常使用了;
    在这里插入图片描述


更多关于open-webui的使用可以参考:

  • 三分钟一键部署Ollama!解压即用!
  • OpenWebUI+Ollama本地部署保姆级教程(非Docker),轻松搭建大语言模型!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/67350.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ProGen生成功能蛋白序列

LLM在包括蛋白质设计等各种生物技术应用中展现出了潜力。ProGen是一种语言模型,它能够生成在大型蛋白质家族中具有可预测功能的蛋白质序列,这类似于针对不同主题生成语法和语义正确的自然语言句子。该模型在来自超过19,000个家族的2.8亿个蛋白质序列上进…

省级数字经济发展水平数据(2011-2022年)-社科数据

省级数字经济发展水平数据(2011-2022年)-社科数据https://download.csdn.net/download/paofuluolijiang/90028602 https://download.csdn.net/download/paofuluolijiang/90028602 数字经济是指以数据资源为关键要素、以现代信息网络为主要载体、以信息…

Leecode刷题C语言之跳跃游戏②

执行结果:通过 执行用时和内存消耗如下&#xff1a; int jump(int* nums, int numsSize) {int position numsSize - 1;int steps 0;while (position > 0) {for (int i 0; i < position; i) {if (i nums[i] > position) {position i;steps;break;}}}return steps…

《多线程基础之条件变量》

【条件变量导读】条件变量是多线程中比较灵活而且容易出错的线程同步手段&#xff0c;比如&#xff1a;虚假唤醒、为啥条件变量要和互斥锁结合使用&#xff1f;windows和linux双平台下&#xff0c;初始化、等待条件变量的api一样吗&#xff1f; 本文将分别为您介绍条件变量在w…

消息队列篇--通信协议篇--TCP和UDP(3次握手和4次挥手,与Socket和webSocket的概念区别等)

1、TCP和UDP概述 TCP&#xff08;传输控制协议&#xff0c;Transmission Control Protocol&#xff09;和UDP&#xff08;用户数据报协议&#xff0c;User Datagram Protocol&#xff09;都算是最底层的通信协议&#xff0c;它们位于OSI模型的传输层。*传输层的主要职责是确保…

打破传统束缚:领略 Web3 独特魅力

在互联网发展的历程中&#xff0c;我们见证了Web1和Web2的变迁。Web1是静态信息的展示平台&#xff0c;Web2则引领了社交互动和内容创作的繁荣&#xff0c;而如今&#xff0c;Web3作为新时代的互联网架构&#xff0c;正逐渐展现出其独特的魅力&#xff0c;带领我们走向一个更加…

[论文总结] 深度学习在农业领域应用论文笔记14

当下&#xff0c;深度学习在农业领域的研究热度持续攀升&#xff0c;相关论文发表量呈现出迅猛增长的态势。但繁荣背后&#xff0c;质量却不尽人意。相当一部分论文内容空洞无物&#xff0c;缺乏能够落地转化的实际价值&#xff0c;“凑数” 的痕迹十分明显。在农业信息化领域的…

Linux 学习笔记__Day3

十八、设置虚拟机的静态IP 1、VMware的三种网络模式 安装VMware Workstation Pro之后&#xff0c;会在Windows系统中虚拟出两个虚拟网卡&#xff0c;如下&#xff1a; VMware提供了三种网络模式&#xff0c;分别是&#xff1a;桥接模式&#xff08;Bridged&#xff09;、NAT…

QT+mysql+python 效果:

# This Python file uses the following encoding: utf-8 import sysfrom PySide6.QtWidgets import QApplication, QWidget,QMessageBox from PySide6.QtGui import QStandardItemModel, QStandardItem # 导入需要的类# Important: # 你需要通过以下指令把 form.ui转为ui…

笔记本跑大模型尝试

1&#xff0c;笔记本电脑资源 我是一台联想笔记本电脑&#xff0c;基本配置如下&#xff1a; CPU&#xff1a;12th Gen Intel(R) Core(TM) i7-1255U 1.70 GHz (12核心&#xff0c;2个P核和8个E核&#xff0c;共计10个核心) 显卡&#xff1a;NVIDIA GeForce MX550 内存&am…

C语言实现扫雷游戏(有展开一片和标记雷的功能)

实现准备 分2个.c源文件和1个.h头文件去写代码 test.c 对扫雷游戏进行测试game.c 扫雷游戏功能的实现game.h 扫雷游戏功能的声明 扫雷游戏 1.test.c对扫雷游戏进行测试 首先我们要先把玩游戏的框架写出来&#xff0c;然后一步一步去完成其功能 跟着下面的代码的节奏走一步一步…

基础IO(2)

基础IO&#xff08;2&#xff09; 理解“⼀切皆⽂件” ⾸先&#xff0c;在windows中是⽂件的东西&#xff0c;它们在linux中也是⽂件&#xff1b;其次⼀些在windows中不是⽂件的东西&#xff0c;⽐如进程、磁盘、显⽰器、键盘这样硬件设备也被抽象成了⽂件&#xff0c;你可以使…

Transformation,Animation and Viewing

4 Transformation&#xff0c;Animation and Viewing 声明&#xff1a;该代码来自&#xff1a;Computer Graphics Through OpenGL From Theory to Experiments&#xff0c;仅用作学习参考 4.1 Modeling Transformations 平移、缩放和旋转&#xff0c;即 OpenGL 的建模转换&…

Deepseek的RL算法GRPO解读

在本文中&#xff0c;我们将深入探讨Deepseek采用的策略优化方法GRPO&#xff0c;并顺带介绍一些强化学习&#xff08;Reinforcement Learning, RL&#xff09;的基础知识&#xff0c;包括PPO等关键概念。 策略函数&#xff08;policy&#xff09; 在强化学习中&#xff0c; a…

【python】python基于机器学习与数据分析的二手手机特性关联与分类预测(源码+数据集)【独一无二】

&#x1f449;博__主&#x1f448;&#xff1a;米码收割机 &#x1f449;技__能&#x1f448;&#xff1a;C/Python语言 &#x1f449;专__注&#x1f448;&#xff1a;专注主流机器人、人工智能等相关领域的开发、测试技术。 python基于机器学习与数据分析的二手手机特性关联与…

手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码)

手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion&#xff08;代码&#xff09; 目录 手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion&#xff08;代码&#xff09;Stable Diffusion 原理图Stable Diffusion的原理解释Stable Diffusion 和Di…

前端【8】HTML+CSS+javascript实战项目----实现一个简单的待办事项列表 (To-Do List)

目录 一、功能需求 二、 HTML 三、CSS 四、js 1、绑定事件与初始设置 2.、绑定事项 &#xff08;1&#xff09;添加操作&#xff1a; &#xff08;2&#xff09;完成操作 &#xff08;3&#xff09;删除操作 &#xff08;4&#xff09;修改操作 3、完整js代码 总结…

vue事件总线(原理、优缺点)

目录 一、原理二、使用方法三、优缺点优点缺点 四、使用注意事项具体代码参考&#xff1a; 一、原理 在Vue中&#xff0c;事件总线&#xff08;Event Bus&#xff09;是一种可实现任意组件间通信的通信方式。 要实现这个功能必须满足两点要求&#xff1a; &#xff08;1&#…

图像处理之HSV颜色空间

目录 1 RGB 的局限性 2 HSV 颜色空间 3 RGB与HSV相互转换 4 HSV颜色模型对图像的色相、饱和度和明度进行调节 5 演示Demo 5.1 开发环境 5.2 功能介绍 5.3 下载地址 参考 1 RGB 的局限性 RGB 是我们接触最多的颜色空间&#xff0c;由三个通道表示一幅图像&#xff0c;分…

【C++高并发服务器WebServer】-9:多线程开发

本文目录 一、线程概述1.1 线程和进程的区别1.2 线程之间共享和非共享资源1.3 NPTL 二、线程操作2.1 pthread_create2.2 pthread_exit2.3 pthread_join2.4 pthread_detach2.5 patch_cancel2.6 pthread_attr 三、实战demo四、线程同步五、死锁六、读写锁七、生产消费者模型 一、…