本地安装Ollama+WebUI

本地安装Ollama+WebUI

B站教程地址:https://www.bilibili.com/video/BV1Kz421h7Jk/?spm_id_from=333.337.search-card.all.click&vd_source=42b07826977d09765ec11b9fa06715e5

一、下载Ollama

https://ollama.com/download 支持mac、linux、windows

选择在ubuntu下安装

odoo@odoo-pc:~$ curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
[sudo] odoo 的密码: 
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%######################################################################### 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.从上面的安装过程发现两点:
1、api的端口号是11434
2、没有检测到显卡,Ollama运行在cpu模式下

安装第一个大模型: 其实这一步可用不用做,后面通过webui来安装。

odoo@odoo-pc:~$ ollama run llama3
pulling manifest 
pulling 6a0746a1ec1a... 100% ▕████████████████▏ 4.7 GB                         
pulling 4fa551d4f938... 100% ▕████████████████▏  12 KB                         
pulling 8ab4849b038c... 100% ▕████████████████▏  254 B                         
pulling 577073ffcc6c... 100% ▕████████████████▏  110 B                         
pulling 3f8eb4da87fa... 100% ▕████████████████▏  485 B                         
verifying sha256 digest 
writing manifest 
success 
>>> Send a message (/? for help)

到这里就可以向大模型提问了,进行交互了,不过只能在本地终端进行,下面,我们需要安装WebUI,可用通过web界面进行交互。

二、安装WebUI

https://docs.openwebui.com

因为我的机器没有GPU,所以找了一个不需要GPU命令进行安装:

For CPU Only: If you're not using a GPU, use this command instead:
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
odoo@odoo-pc:~$ sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
[sudo] odoo 的密码: 
Unable to find image 'ghcr.io/open-webui/open-webui:ollama' locally
ollama: Pulling from open-webui/open-webui
a2318d6c47ec: Pull complete 
334af29dc78e: Pull complete 
d534b3df1e9e: Pull complete 
95b5b248c442: Pull complete 
98d167576f7c: Pull complete 
ac786ed3fe21: Pull complete 
4f4fb700ef54: Pull complete 
0b3cbd1796a0: Pull complete 
08dcfffb691a: Pull complete 
290e855a01d4: Pull complete 
da884a0397a7: Pull complete 
46fe1a8da679: Pull complete 
6497c5d13491: Pull complete 
2e2171744e6b: Pull complete 
8558874c3ff3: Pull complete 
15f64213e6de: Pull complete 
Digest: sha256:b70396e243682d7e93fc426b5aa6ade41c2240e5559aa00301dbdcf8e520235b
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:ollama
ba2b5958578f44030936768b324f451ecce00865047fc53e158ce84c616e91e1

安装完成后打开地址

http://127.0.0.1:3000/

注册一个账号,账号会保存在本地而不是云端,第一个注册的账号会成为管理员。

进入界面后,选择左下角的头像进入设置菜单,通用里面可用选择语言,默认会跟操作系统的语言保持一致。

选择管理员设置:

会出现模型的设置。

注意: Ollama是一个管理平台,它可用管理很多模型,像开源的llama3, chatgpt等

从ollama.com选取一个模型,然后输入模型的名称,就可以进行下载。下载速度还是比较快的。

可用多安装几个模型,获取更多元化的回答。

注册了一个账号:

fatux 156277468@qq.com 密码是最复杂的

三、使用技巧

1、模型

可用安装别人训练好的agent

2、提示词

3、指定检索文件

在让大模型回答问题之前可用指定文件,不过这样有个缺点,大模型需要经过检索和回答两个步骤,可能需要的时间会变长。

四、微调模型

让AI将特定领域的知识,内化整合成模型的一部分,而这种让语言模型在原有知识的基础上进行额外训练的过程被称为模型微调。fine-tuning

要微调模型,我们要准备一些问答的范例协助AI进行学习,其中一种常见的格式叫Json

格式类似于QA,有问有答

可用通过chatgpt转换成JSON格式的文本。

https://unsloth.ai/ 训练和微调语言模型的工具

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/53665.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

鸿蒙原生应用元服务开发-仓颉基础数据类型元组类型

元组(Tuple)可以将多个不同的类型组合在一起,成为一个新的类型。元组类型使用 (T1, T2, …, TN) 表示,其中 T1 到 TN 可以是任意类型,不同类型间使用逗号(,)连接。元组至少是二元,例…

Tranformer分布式特辑

随着大模型的发展,如何进行分布式训练也成了每位开发者必备的技能。 1. 单机训练 CPU OffloadingGradient Checkpointing 正向传播时,不存储当前节点的中间结果,在反向传播时重新计算,从而起到降低显存占用的作用 Low Precision…

函数题 6-4 求自定类型元素的平均【PAT】

文章目录 题目函数接口定义裁判测试程序样例输入样例输出样例 题解解题思路完整代码AC代码 编程练习题目集目录 题目 要求实现一个函数,求 N N N 个集合元素 S [ ] S[] S[] 的平均值,其中集合元素的类型为自定义的 E l e m e n t T y p e ElementTyp…

理想汽车嵌入式面试及参考答案

在项目中是否有使用过实时操作系统? 在我参与的项目中,有使用过实时操作系统。实时操作系统(RTOS)在对时间要求严格的应用场景中具有重要作用。我曾参与的一个工业自动化控制项目就采用了实时操作系统。在这个项目中,需要对多个传感器的数据进行实时采集和处理,并根据采集…

【C++】C++ 标准库string类介绍(超详细解析,小白必看系列)

C 标准库中的 std::string 类是一个非常强大的工具&#xff0c;用于处理和操作字符串。它属于 <string> 头文件&#xff0c;并提供了一套丰富的功能和方法。以下是 std::string 类的一些主要特性和常用操作&#xff1a; 1 string简介 字符串是表示字符序列的类 标准的字…

JVM字节码

JVM字节码详解 引言 JVM&#xff08;Java Virtual Machine&#xff0c;Java虚拟机&#xff09;字节码是一种中间代码&#xff0c;主要用于Java平台上的程序在不同硬件平台上的移植。Java程序通过编译器将源代码编译成字节码&#xff0c;然后通过JVM解释或即时编译&#xff08…

跨境独立站支付收款常见问题排雷篇1.0丨出海笔记

最近小伙伴们在社群讨论挺多关于独立站支付问题的&#xff0c;鉴于不少朋友刚接触独立站&#xff0c;我整理了一些独立站支付相关的问题和解决方案&#xff0c;供大家参考&#xff0c;百度网上一堆媒体的那些软文大家就别看了&#xff0c;都是软广或者抄来抄去&#xff0c;让大…

语义分割数据集|河流湖泊分割|水灾预警

江河湖泊自然水灾检测数据集&#xff0c;数据集整理不易&#xff0c;获取地址在最后&#xff0c;具体信息如下&#xff1a; 总数&#xff1a;290张 类别&#xff1a;1类 数据集大小&#xff1a;约106M 数据整理不易&#xff0c;数据集获取地址如下&#xff1a; https://…

基于JAVA+SpringBoot+Vue的前后端分离企业oa管理系统

基于JAVASpringBootVue的前后端分离企业oa管理系统 前言 ✌全网粉丝20W,csdn特邀作者、博客专家、CSDN[新星计划]导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末附源码下载链接&#x1…

springboot项目中 前端浏览器访问时遇到跨域请求问题CORS怎么解决?has been blocked by CORS policy

文章目录 现象解决方案1. **全局配置 CORS**2. **使用 CrossOrigin 注解**3. **配置 Spring Security**4. **自定义 CORS 过滤器** Spring Security 6.x 及其后续版本解决方案1. 使用 SecurityFilterChain 配置 CORS2. 重要配置说明3. 在生产环境中的最佳实践 现象 前端浏览器…

【2023年】云计算金砖牛刀小试3

A场次题目:OpenStack平台部署与运维 业务场景: 某企业拟使用OpenStack搭建一个企业云平台,用于部署各类企业应用对外对内服务。云平台可实现IT资源池化,弹性分配,集中管理,性能优化以及统一安全认证等。系统结构如下图: 企业云平台的搭建使用竞赛平台提供的两台云服务…

大模型系列-fastgpt,ollama搭建本地知识库

大模型系列-fastgpt,ollama搭建本地知识库 1. 安装fastgpt,oneapi2. 安装ollama运行大模型2.1. 安装ollama2.2. ollama下载模型 3. 安装开源的文本向量模型 1. 安装fastgpt,oneapi docker-compose安装 下载docker-compose.yml,config.json mkdir fastgpt cd fastgpt curl -O…

机械设计基础知识---屈服强度

1、定义 屈服强度是金属材料发生屈服现象时的屈服极限&#xff0c;也就是抵抗微量塑性变形的应力。对于无明显屈服现象出现的金属材料&#xff0c;规定以产生0.2%残余变形的应力值作为其屈服极限&#xff0c;称为条件屈服极限或屈服强度。 大于屈服强度的外力作用&#xff0c;将…

本地部署大语言模型

本地部署大语言模型&#xff08;LLMs&#xff09;是一个涉及多个步骤和技术细节的过程&#xff0c;包括硬件准备、软件安装、模型下载与配置等。以下是一个详细且全面的指南&#xff0c;旨在帮助读者在本地环境中成功部署大语言模型。 一、硬件准备 本地部署大语言模型对硬件…

【linux】进程控制(2)

3. 进程等待 1. 是什么 通过系统调用 wait/waitpid 对子进程的退出状态进行检测和回收的功能 2. 为什么 僵尸进程无法杀死&#xff0c;通过进程等待来杀掉它&#xff0c;进而解决内存泄漏的问题 &#xff08;一&#xff09;进程等待的方法 a. wait : 代码 wait : 等待任意一…

B3635 硬币问题

题目描述 今有面值为 1、5、11 元的硬币各无限枚。 想要凑出 nn 元&#xff0c;问需要的最少硬币数量。 输入格式 仅一行&#xff0c;一个正整数 nn。 输出格式 仅一行&#xff0c;一个正整数&#xff0c;表示需要的硬币个数。 输入输出样例 输入 #1复制 15 输出 #1复…

某仿soul欲音社交系统存在任意文件读取漏洞

1 阅读须知 技术文章仅供参考&#xff0c;此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等&#xff08;包括但不限于&#xff09;进行检测或维护参考&#xff0c;未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直…

医院管理|基于java的医院管理系统小程序(源码+数据库+文档)

医院管理系统小程序 目录 基于java的医院管理系统小程序 一、前言 二、系统设计 三、系统功能设计 医生信息管理 排班信息管理 科室信息管理 科室预约 病历信息 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取&#xff1a;…

llvm后端之td定义指令信息

llvm后端之td定义指令信息 引言1 定义指令2 定义Operand3 定义SDNode4 PatFrags4.1 ImmLeaf4.2 PatLeaf 5 ComplexPattern6 谓词条件7 理解dag 引言 llvm后端通过td定义指令信息&#xff0c;并通过dag匹配将IR节点转换为平台相关的指令。 1 定义指令 td通过class Instructio…

AVL树的模拟实现(插入,验证)

目录 前言 AVL树的概念 AVL树的旋转 旋转 左旋 右旋 左右旋 右左旋 AVL的insert的实现 AVL的验证 完整代码 总结 前言 本文会先将AVL树的旋转进行讲解&#xff0c; 然后再对代码进行实现和展示。 AVL树的概念 首先 AVL树 是一种平衡树&#xff0c; 平衡树是在二…