Ubuntu 22.04上text-generation-webui service文件编写思路

自从拥抱了ai,coding工作简单不少。

由于不会翻墙,主要考文心一言活了。最近用的时候可能会有服务有点忙的情况,于是就想把家中电脑的text-generation-webui给跑起来,在办公室使用。经过一番折腾(百度,bing了中外资料,汲取了众人的知识,thanks。)终于建立自己的服务

准备工作:

服务器 ,能跑text-generation-webui的(黄教主法力高深,美利坚封锁可恶。勉强弄了个4060ti 16g,在pve中跑了起来。)

下载textgen-webui,下载mini3conda,建立虚拟环境下载模型。先手动跑起来看有没有问题。我这里用了自己的一个域名访问,主要是没钱买ipv4的ip,就用ddns-go做了域名动态解析。所以使用了

--listen --listen-host --listen-port参数

还使用txt文件做了简单的账号密码验证

具体的讲,手动启用服务的方法如下

conda activate textgen python server.py --listen --listen-host [自己的域名] --listen-port [填写服务端口号] --gradio-auth-path [账户密码文件.text]

替换时注意不带左右两边的[]

在创建service服务文件的时候遇到问题

后面我总结了下,主要有2点:

1、如何激活python虚拟环境

2、权限问题。启用了selinux,程序的执行文件夹现在 /usr/bin/bin/sbin 等系统二进制文件目录。(可能根据配置不同),而我偷懒直接放在了home用户文件夹下

来回试了几天,是的,断断续续的有一周吧(有空试一把那种。没有狗哥,只能百度和bing,有可能没有找到正确的方法,只能闭门造车。),试了几种方法。最后成功启动服务。这里采用了迂回作战的方式。以下是编写服务需要的步骤

1、编制一个bash文件,start_wru.sh

source /home/whoareu/miniconda3/bin/activate textgen
cd /home/whoareu/text-generation-webui
python server.py --listen --listen-host [自己的域名] --listen-port [填写服务端口号] --gradio-auth-path [账户密码文件.text]

注意:上面代码第一行是用来激活环境的,/home/whoareu/miniconda3是miniconda3的安装路径,

第二行 是切换到text-generation-webui的路径

第三行上面讲过,是用来启动服务的

2、编写一个textgen.service文件,执行start_wru.sh文件

Description=Text Generation Service
After=network.target[Service]
Type=idle
Restart=always
User=whoareu
ExecStart= /bin/bash -c '/home/whoareu/text-generation-webui/start_wru.sh'[Install]
WantedBy=multi-user.target

3.就是设置服务了(start,enable),不再啰嗦

最后再啰嗦一句:能用免费的文心一言等服务就用,比自己架的好多了,而且省电费,时间。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/500.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

这篇介绍把长URL转换为短URL的python库

这篇介绍把长URL转换为短URL的python库 随着互联网的发展,长链接可能不太友好或难以记忆.URL 缩短服务使得分享链接更加方便和美观,同时还能提高链接的安全性.PyShorteners 提供了一个在Python中轻松实现此功能的解决方案. 什么是PyShorteners ? PyShorteners是一…

NLP预训练模型-GPT3

GPT3(Generative Pre-trained Transformer 3)是一种基于Transformer架构的大型预训练语言模型。它是目前最先进的语言模型之一,具有强大的自然语言处理能力。本文将详细介绍GPT3的预训练过程、架构、应用以及其优势和挑战。 1. 预训练过程&a…

对EKS(AWS云k8s)启用AMP(AWS云Prometheus)监控+AMG(AWS云 grafana)

问题 需要在针对已有的EKS k8s集群启用Prometheus指标监控。而且,这里使用AMP即AWS云的Prometheus托管服务。好像这个服务,只有AWS国际云才有,AWS中国云没得这个托管服务。下面,我们就来尝试在已有的EKS集群上面启用AMP监控。 步…

torch.gather用法详解

torch.gather是PyTorch中的一个函数,用于从源张量中按照指定的索引张量来收集数据。 基本语法如下, torch.gather(input, dim, index, *, sparse_gradFalse, outNone) → Tensor input:输入源张量dim:要收集数据的维度index&am…

2.4G射频收发芯片 KT8P01,非常适合超低功耗(ULP)的无线应用

KT8P01是一颗低成本、高性能的智能2.4 GHz射频收发芯片,内置单片机。KT8P01经过优化,提供了单芯片解决方案,适用于超低功耗(ULP)的无线应用。处理能力、存储器、低功率振荡器、实时计数器以及一系列省电模式的组合为RF…

Vue + Cesium(之一)

Vue项目如何初始化Cesium: 一.远程引入Cesium: 1.安装Cesium npm install cesium二.本地加载Cesium: Cesium的属性: 一. 维度 平面 二维 三维 二.空间分析 距离测量 面积测量 区域分析 清除 三.专题图层 码头信息 泊位信息 仓库 仓库区 …

SQL连接查询

连接查询: 同时涉及多个表的查询称为连接查询。 SQL中连接查询的主要类型 (1) 交叉连接(广义笛卡尔积) (2) 等值连接 (3) 自身连接 (4) 内连接 (5) 外连接 1.交叉连接 使用笛卡尔积运算的连接方式 笛卡尔积运算:设A&#xff…

基于Python的LSTM网络实现单特征预测回归任务(PyTorch版)

目录 一、数据集 二、任务目标 三、代码实现 1、从本地路径中读取数据文件 2、数据归一化 3、创建配置类,将LSTM的各个超参数声明为变量,便于后续使用 4、创建时间序列数据 5、划分数据集 6、将数据转化为PyTorch张量 7、将数据加载成迭代器 …

【栈】Leetcode 84. 柱状图中最大的矩形【困难】

柱状图中最大的矩形 给定 n 个非负整数,用来表示柱状图中各个柱子的高度。每个柱子彼此相邻,且宽度为 1 。 求在该柱状图中,能够勾勒出来的矩形的最大面积 示例 1: 输入:heights [2,1,5,6,2,3] 输出:10 解释&#…

[阅读笔记1][GPT-3]Language Models are Few-Shot Learners

首先讲一下GPT3这篇论文,文章标题是语言模型是小样本学习者,openai于2020年发表的。 这篇是在GPT2的基础上写的,由于GPT2还存在一些局限,这篇对之前的GPT2进行了一些完善。GPT2提出了多任务学习,也就是可以零样本地用在…

第九、十章 异常、模块、包以及数据可视化

第九章 异常、模块、包 异常 捕获异常 捕获常规异常 # 捕获常规异常 try:f open("D:/abc.txt", "r", encoding "UTF-8") except:print("出现异常了,因为文件不存在,我将open的模式,改为w模式去打开&qu…

SpringBoot 配置 jedis 来连接redis

Maven依赖 首先配置 maven依赖,这个依赖,要结合自己的springboot 的版本去选, 如果想要看自己的springboot 版本 在 启动类中去 加入,这两行代码 String version SpringBootVersion.getVersion(); log.info("***SpringBo…

大唐杯题目

5G NR 系统中,UE 收到 RRCSetup后,可能会有以下哪些过程 A.进入 RRC CONNECTED,停止小区重选: B.如果 NAS 层提供了多个S-NSSAI,则写入 s-nssai-List; C.发送 RRCSetupComplete. D.UE 启动 T300,将 RRCSetupReguest 消…

数据结构 -- 二叉树

简介 : 二叉树有左右两个子节点 ; 我们可以用一个包含左孩子和右孩子的结构体数组来存储二叉树 : const int N 1e6 10 ;// 存储 : struct Node{int l , r ; }a[N]; 读入 : for(int i1;i<n;i) cin >> a[i].l >> a[i].r ; 用链表实现参考 : 二叉树…

from表单的作用、组成和用法

from表单的作用表单在网页中主要负责数据采集功能&#xff0c;它用<form>标签定义。用户输入的信息都要包含在form标签中&#xff0c;点击提交后&#xff0c;<form>和</form>里面包含的数据将被提交到服务器或者电子邮件里&#xff0c;经过服务器上的 ASP 或…

中国联通,互联互通:构建全国乃至全球云服务网络

广泛覆盖&#xff0c;互联互通&#xff1a;构建全国乃至全球云服务网络 中国联通云联网凭借其广泛的覆盖范围和强大的互联互通能力&#xff0c;为企业提供了前所未有的云资源接入便利。在国内&#xff0c;云联网已覆盖至中国境内的334个城市&#xff0c;几乎触及每一处有业务需…

LeetCode:203.移除链表元素

&#x1f3dd;1.问题描述&#xff1a; &#x1f3dd;2.实现代码&#xff1a; typedef struct ListNode ListNode; struct ListNode* removeElements(struct ListNode* head, int val) {if(headNULL)return head;ListNode *NewHead,*NewTail;ListNode *pcurhead;NewHeadNewTail…

【C++】C++11右值引用

&#x1f440;樊梓慕&#xff1a;个人主页 &#x1f3a5;个人专栏&#xff1a;《C语言》《数据结构》《蓝桥杯试题》《LeetCode刷题笔记》《实训项目》《C》《Linux》《算法》 &#x1f31d;每一个不曾起舞的日子&#xff0c;都是对生命的辜负 目录 前言 1.什么是左值&&…

HCIP——HCIA回顾(笔记)

OSI OSI -- 开放式系统互联参考模型&#xff08;7层参考模型&#xff09; 应用层 抽象语言 -》编码 表示层 编码-》二进制 会话层 提供应用程序的会话地址 传输层 分段 数据包容量不易过大&#xff0c;否则影响传输效率及共享宽带&#xff1b;分段大小由MTU决定&…

python前端tkinter

基础窗口展示&#xff1a; import tkinter as tknewWin tk.Tk() newWin.title("Im a new window!") newWin.geometry("400x300500300") #设置窗口的大小以及初始位置lab tk.Label(newWin) #lab tk.Label() lab.config(text "Im a new label!&q…