代理加盟微信网站建设/2022年时事政治热点汇总

代理加盟微信网站建设,2022年时事政治热点汇总,青岛网站建设 大公司,中央经济工作会议精神解读OllamaOpenWebUI本地部署大模型 前言Ollama使用Ollama安装Ollama修改配置Ollama 拉取远程大模型Ollama 构建本地大模型Ollama 运行本地模型:命令行交互Api调用Web 端调用 总结 前言 Ollama是一个开源项目,用于在本地计算机上运行大型语言模型&#xff0…

Ollama+OpenWebUI本地部署大模型

  • 前言
  • Ollama使用
    • Ollama安装
    • Ollama修改配置
    • Ollama 拉取远程大模型
    • Ollama 构建本地大模型
    • Ollama 运行本地模型:
      • 命令行交互
      • Api调用
      • Web 端调用
  • 总结

前言

Ollama是一个开源项目,用于在本地计算机上运行大型语言模型(LLMs)的工具,它的底层是使用Docker,所以支持类似Docker的构建方式,大模型就是它的镜像。它支持多种模型格式,包括但不限于GGUF,允许用户在没有高性能GPU或不希望使用云服务的情况下,利用个人计算机的资源来执行复杂的语言任务。

Ollama使用

Ollama安装

根据自己的平台选择下载对应的工具,下载地址
在这里插入图片描述
右击使用管理员权限安装,成功后会弹出下面框。
输入ollama list 可以查看本地有哪些模型

ollama list
在这里插入图片描述

想要查看支持哪些模型,可以点击官网中央仓库,支持的模型很多。
在这里插入图片描述

Ollama支持的参数:

Usage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version information

Ollama修改配置

在拉取Ollama 大模型之前,需要修改Ollma两个配置,直接在电脑环境变量中添加以下两个系统变量,一个是方便局域网法访问,一个是避免C盘被占用过大:

  • OLLAMA_HOST:修改为0.0.0.0:11434,以便局域网访问
  • OLLAMA_MODELS:默认为C盘,需要修改为其他磁盘。

在这里插入图片描述

退出重登Ollama,重新打开PowelShell窗口,输入本机的ip,返回running即为修改Ip成功 :
在这里插入图片描述

Ollama 拉取远程大模型

ollama pull以及ollama run都可以拉取大模型,run拉取后会直接运行大模型

ollama run codellama:7b

在这里插入图片描述
注意:可能会遇到以下类似的问题,大部分是网络环境问题。多试几次或者切换代理网络即可。

Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/codellama/manifests/7b": dial tcp: lookup registry.ollama.ai: no such host

Ollama 构建本地大模型

Ollama除了可以使用官方自带的模型,也可以使用我们已经量化好的gguf模型。在模型所在位置,新建个Modelfile,内容如下:

FROM ./llama-2-7b-chat.Q4_K_M.gguf# set prompt template
TEMPLATE """[INST] <<SYS>>{{ .System }}<</SYS>>{{ .Prompt }} [/INST]
"""# set parameters
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<<SYS>>"
PARAMETER stop "<</SYS>>"# set system message
SYSTEM """
You are a helpful assistant.
"""

使用PowerShell,切换到模型目录下,执行以下命令,构建模型

ollama create my-model2 -f .\Modelfile

创建成功后:

ollama list

在这里插入图片描述

Ollama 下载的模型默认情况下都是经过量化的,如果要使用未经量化的模型,可以在 huggingface(Hugging Face 起初是NLP机器学习服务商,开源了非常出名的自然语言处理应用构建的 transformers 库。随着大模型流行,Hugging Face转向了机器学习的社区服务,类似于代码服务的github) 下载指定的模型,并使用上述方式进行运行。

Ollama 运行本地模型:

命令行交互

ollama run my-model2

在这里插入图片描述

Api调用

Ollama run之后就可以直接使用api接口调用,调用方式POST:
url:

http://127.0.0.1:11434/api/generate

请求体,修改成你执行的model:

{"model": "codellama:7b","prompt": "Why is the sky blue?","format": "json","stream": false
}

返回数据:

{"model": "codellama:7b","created_at": "2024-05-18T08:05:25.3502395Z","response": "{\n\"The sky appears blue because of a phenomenon called Rayleigh scattering, which occurs when sunlight interacts with the Earth's atmosphere. When light travels through a medium, such as air or water, it encounters particles that can scatter it in different directions. In the case of the Earth's atmosphere, the tiny molecules of gases, such as nitrogen and oxygen, scatter shorter wavelengths of light (like blue and violet) more than longer wavelengths (like red and orange). This is known as the Rayleigh scattering effect.\"\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n","done": false
}

Web 端调用

Ollama 如果想要在Web端使用,需要借助OpenWebUI 这个工具。OpenWebUI 是一个为大型语言模型(LLM)设计的开源Web界面,它提供了一个用户友好的交互方式来管理和运行这些模型。OpenWebUI 可以与不同的LLM运行程序集成,包括但不限于Ollama和OpenAI兼容的API

推荐使用docker 启动OpenWebUI,如果你的Ollama与OpenWebUI部署在同一服务器上,则使用以下命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name ollama-web --restart always ghcr.io/open-webui/open-webui:main

如果不是在同一机器,则加个参数OLLAMA_BASE_URL

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://10.11.24.27 -v open-webui:/app/backend/data --name ollama-web --restart always ghcr.io/open-webui/open-webui:main

启动后输入
http://localhost:3000/或者http://10.11.24.27:3000/会跳转到如下页面
在这里插入图片描述
点击注册,注册信息可以随意写,注册后跳转到该页面
在这里插入图片描述

选择模型后可以开始对话

在这里插入图片描述
OpenWebUI 也支持下载模型,点击setting 页面,输入模型qwen:0.5b

在这里插入图片描述
成功后会有提示
在这里插入图片描述
切换到qwen:0.5b问答。
在这里插入图片描述
整体来说OpenWebUI用起来会比较方便。

总结

Ollama极大简化了大模型私有部署步骤,使得大模型运行像Docker一样简单方便。Ollama 还提供Api的方式,集成Langchain等应用也就方便了很多,结合OpenWebUI可以体验类似ChatGpt的交互,方便使用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/72303.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【机器学习】基于t-SNE的MNIST数据集可视化探索

一、前言 在机器学习和数据科学领域&#xff0c;高维数据的可视化是一个极具挑战但又至关重要的问题。高维数据难以直观地理解和分析&#xff0c;而有效的可视化方法能够帮助我们发现数据中的潜在结构、模式和关系。本文以经典的MNIST手写数字数据集为例&#xff0c;探讨如何利…

K8S学习之基础二十三:k8s的持久化存储之nfs

K8S持久化存储之nfs ​ 在 Kubernetes (k8s) 中使用 NFS&#xff08;Network File System&#xff09;作为存储解决方案是一种常见的方式&#xff0c;特别是在需要共享存储的场景中。以下是关于如何在 Kubernetes 中使用 NFS 存储的详细说明&#xff1a; 1. 准备 NFS 服务器 …

《C++ Primer》学习笔记(二)

第二部分&#xff1a;C标准库 1.为了支持不同种类的IO处理操作&#xff0c;标准库定义了以下类型的IO&#xff0c;分别定义在三个独立的文件中&#xff1a;iostream文件中定义了用于读写流的基本类型&#xff1b;fstream文件中定义了读写命名文件的类型&#xff1b;sstream文件…

MATLAB风光柴储微网粒子群算法

本程序实现了风光柴储微网中的粒子群优化&#xff08;PSO&#xff09;算法&#xff0c;用于优化微网的能源调度问题。具体来说&#xff0c;程序考虑了光伏发电、风力发电、柴油机发电&#xff08;柴储&#xff09;&#xff0c;并使用粒子群算法来优化这些能源的调度&#xff0c…

解决Windows版Redis无法远程连接的问题

&#x1f31f; 解决Windows版Redis无法远程连接的问题 在Windows系统下使用Redis时&#xff0c;很多用户会遇到无法远程连接的问题。尤其是在配置了Redis并尝试通过工具如RedisDesktopManager连接时&#xff0c;可能会报错“Cannot connect to ‘redisconnection’”。今天&am…

基于NXP+FPGA永磁同步电机牵引控制单元(单板结构/机箱结构)

永磁同步电机牵引控制单元&#xff08;单板结构/机箱结构&#xff09; 永磁同步电机牵引控制单元&#xff08;TCU-PMSM&#xff09;用于牵引逆变器-永磁同步电机构成的牵引电传动系统&#xff0c;采用轴控方式。执行高性能永磁同步电机复矢量控制策略&#xff0c;具有响应迅速…

MySQL 衍生表(Derived Tables)

在SQL的查询语句select …. from …中&#xff0c;跟在from子句后面的通常是一张拥有定义的实体表&#xff0c;而有的时候我们会用子查询来扮演实体表的角色&#xff0c;这个在from子句中的子查询会返回一个结果集&#xff0c;这个结果集可以像普通的实体表一样查询、连接&…

STM32配套程序接线图

1 工程模板 2 LED闪烁 3LED流水灯 4蜂鸣器 5按键控制LED 6光敏传感器控制蜂鸣器 7OLED显示屏 8对射式红外传感器计次 9旋转编码器计次 10 定时器定时中断 11定时器外部时钟 12PWM驱动LED呼吸灯 13 PWM驱动舵机 14 PWM驱动直流电机 15输入捕获模式测频率 16PWMI模式测频率占空…

鸿蒙初级考试备忘

Module类型 Module按照使用场景可以分为两种类型&#xff1a; Ability类型的Module&#xff1a; 用于实现应用的功能和特性。每一个Ability类型的Module编译后&#xff0c;会生成一个以.hap为后缀的文件&#xff0c;我们称其为HAP&#xff08;Harmony Ability Package&#x…

SpringCloud 学习笔记1(Spring概述、工程搭建、注册中心、负载均衡、 SpringCloud LoadBalancer)

文章目录 SpringCloudSpringCloud 概述集群和分布式集群和分布式的区别和联系 微服务什么是微服务&#xff1f;分布式架构和微服务架构的区别微服务的优缺点&#xff1f;拆分微服务原则 什么是 SpringCloud &#xff1f;核心功能与组件 工程搭建父项目的 pom 文件 注册中心Rest…

计算机网络-网络规划与设计

基本流程 需求分析—》通信规范分析—》逻辑网络设计—》物理网络设计—》实施阶段 需求分析&#xff1a; 确定需求&#xff0c;包括&#xff1a;业务需求、用户需求、应用需求、计算机平台需求、网络通信需求等。 产物&#xff1a;需求规范 通信规范分析&#xff1a; 现有…

《AI浪潮中的璀璨新星:Meta Llama、Ollama与DeepSeek的深度剖析》:此文为AI自动生成

《AI浪潮中的璀璨新星&#xff1a;Meta Llama、Ollama与DeepSeek的深度剖析》&#xff1a;此文为AI自动生成 引言&#xff1a;AI 大模型的群雄逐鹿时代 在科技飞速发展的当下&#xff0c;AI 大模型领域已成为全球瞩目的焦点&#xff0c;竞争激烈程度堪称白热化。从 OpenAI 推出…

DeepSeek linux服务器(CentOS)部署命令笔记

Linux&#xff08;CentOS&#xff09;FinalShellOllama远程访问&#xff0c;本地部署deepseek 自备CentOS服务器&#xff0c;并且已经使用FinalShell连接到服务器 一、准备工作 1.更新服务器 apt-get update-y 2.下载Ollama curl -fsSL https://ollama.com/install.sh | …

C#通过API接口返回流式响应内容---分块编码方式

1、背景 上一篇文章《C#通过API接口返回流式响应内容—SSE方式》阐述了通过SSE&#xff08;Server Send Event&#xff09;方式&#xff0c;由服务器端推送数据到浏览器。本篇是通过分块编码的方式实现 2、效果 3、具体代码 3.1 API端实现 [HttpGet] public async Task Chu…

SSL 原理及实验

引言 为了实现远程办公或者远程客户访问内网的资源 &#xff08;1&#xff09;回顾历史&#xff1a; 起初先出现SSL(Secure Sockets Layer&#xff09;&#xff0d;安全套接层协议。 美国网景Netscape公司1994年研发&#xff0c;介于传输层TCP协议和应用层协议之间的一种协议…

UE5.5 Niagara发射器更新属性

发射器属性 在 Niagara 里&#xff0c;Emitter 负责控制粒子生成的规则和行为。不同的 Emitter 属性决定了如何发射粒子、粒子如何模拟、计算方式等。 发射器 本地空间&#xff08;Local Space&#xff09; 控制粒子是否跟随发射器&#xff08;Emitter&#xff09;移动。 ✅…

各省水资源平台 水资源遥测终端机都用什么协议

各个省水资源平台 水资源遥测终端机 的建设大部分从2012年开始启动&#xff0c;经过多年建设&#xff0c;基本都已经形成了稳定的通讯要求&#xff1b;河北瑾航科技 遥测终端机&#xff0c;兼容了大部分省市的通讯协议&#xff0c;如果需要&#xff0c;可以咨询和互相学习&…

使用OpenCV和MediaPipe库——抽烟检测(姿态监控)

目录 抽烟检测的运用 1. 安全监控 (1) 公共场所禁烟监管 (2) 工业安全 2. 智能城市与执法 (1) 城市违章吸烟检测 (2) 无人值守管理 3. 健康管理与医疗 (1) 吸烟习惯分析 (2) 远程监护 4. AI 监控与商业分析 (1) 保险行业 (2) 商场营销 5. 技术实现 (1) 计算机视…

WPF窗口读取、显示、修改、另存excel文件——CAD c#二次开发

效果如下&#xff1a; using System.Data; using System.IO; using System.Windows; using Microsoft.Win32; using ExcelDataReader; using System.Text; using ClosedXML.Excel;namespace IfoxDemo {public partial class SimpleWindow : Window{public SimpleWindow(){Initi…

HarmonyOS NEXT - 电商App实例三( 网络请求axios)

使用axios开发网络请求是一个非常常见的任务&#xff0c;尤其是Web前端开发者&#xff0c;对它非常熟悉。axios是一个基于Promise的HTTP客户端&#xff0c;支持浏览器和Node.js环境&#xff0c;使用简单且功能强大。 在harmonyOS中&#xff0c;如果想使用axios&#xff0c;可以…