怎样在Python中使用oobabooga的API密钥,通过端口5000获取模型列表的授权

题意:

oobabooga-textgen-web-ui how to get authorization to view model list from port 5000 via the ooba's api-key in python

怎样在Python中使用oobabooga的API密钥,通过端口5000获取模型列表的授权

问题背景:

I wish to extract and print out a list of llm models from the oobabooga-text-gen-web-ui in python.

我希望从Python中的oobabooga-text-gen-web-ui中提取并打印出一系列LLM(大型语言模型)的列表

Some context first before i head over to my problem.

在我描述我的问题之前,先提供一些背景信息。

For those familiar with what ooba is its essentially a Gradio web UI for Large Language Models.

对于那些熟悉ooba的人来说,它本质上是一个为大型语言模型(Large Language Models)设计的Gradio网络用户界面。

I downloaded and loaded a few llm models onto this web ui. The web ui uses http://127.0.0.1:7860/ to display the web user interface on port 7860. But if I enable the openai and api extensions, and also edit the CMD_FLAGS.txt within the ooba folder into something like:

我下载并在这个网络用户界面上加载了几个大型语言模型(LLM)。该网络用户界面使用 http://127.0.0.1:7860/ 在7860端口上显示用户界面。但是,如果我启用了openai和api扩展,并且在ooba文件夹内编辑CMD_FLAGS.txt文件,内容类似于:

--listen --api --api-key "enter-your-fake-api-key-here" 

the extensions will mimic an Open AI api key by connecting to ooba from a network via port 5000

这些扩展将通过端口5000从网络连接到ooba,从而模拟一个OpenAI API密钥。

Here come the problem...        问题出现了

this is my code to view the model list from ooba :        以下是我用来查看ooba中模型列表的代码

import requestsurl = "http://127.0.0.1:5000/v1"#Model List
headers = {"Content-Type": "application/json"
}response = requests.get(f'{url}/internal/model/list',headers=headers,verify=False)
print(response.json())

the output should look something like this:        输出应该看起来像这样:

{'model_names': ['L3-8B-Stheno-v3.2', 'L3-8B-Stheno-v3.2_exl2_8h_8bpw', 'L3-8B-Stheno-v3.2_q8_0.gguf', 'MixTAO-7Bx2-MoE-v8.1_q8_0.gguf']}

but instead i got this:        但我得到了这个:

{'detail': 'Unauthorized'}

After some fiddling around I found that if I leave CMD_FLAGS.txt blank the code works as intended and i get the model lists but i dont have access to an API key since its not enable on ooba.

经过一些尝试后,我发现如果我将CMD_FLAGS.txt文件留空,代码就能按预期工作,我可以获取到模型列表。但是,由于我没有在ooba上启用API密钥功能,因此我无法访问API密钥。

if I do enable it with CMD_FLAGS.txt and typing:        如果我在CMD_FLAGS.txt中启用它并输入:

--listen --api --api-key "enter-your-fake-api-key-here" 

I'll have access to the openai api key but the code to extract the model list will return as : {'detail': 'Unauthorized'}

我将能够访问OpenAI的API密钥,但是用于提取模型列表的代码将返回:{'detail': 'Unauthorized'}

I need the api key enabled from ooba cuz i plan to use the openai.client feature for model interactions. How do I keep the configuration that enables the fake open ai api key but also allows me to extract the model list?

我需要从ooba启用API密钥,因为我计划使用openai.client功能来进行模型交互。我如何保持这种配置,即启用模拟的OpenAI API密钥,同时又能提取模型列表?

问题解决:

1 day later... Found the answer. Turns out if i want the api key to be enabled while also being able to view the model list from ooba via the api, I need to add an 'Authorization': f'Bearer {api_key}' in the header.

一天后...我找到了答案。原来,如果我想在启用API密钥的同时,也能够通过API从ooba查看模型列表,我需要在请求头中添加'Authorization': f'Bearer {api_key}'

The code should look something like this:       代码应该像这样:

import requestsapi_key = "enter-your-fake-api-key-here"
url = "http://127.0.0.1:5000/v1"#Model List
headers = {"Content-Type": "application/json","Authorization": f"Bearer {api_key}"
}response = requests.get(f'{url}/internal/model/list',headers=headers,verify=False)
print(response.json())
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/39196.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

fastapi+vue3前后端分离开发第一个案例整理

开发思路 1、使用fastapi开发第一个后端接口 2、使用fastapi解决cors跨域的问题。cors跨域是浏览器的问题,只要使用浏览器,不同IP或者不同端口之间通信,就会存在这个问题。前后端分离是两个服务,端口不一样,所以必须要…

PCA和PCoA分析的python代码

主成分分析(PCA)和主坐标分析(PCoA)都是数据降维和可视化的常用方法,但它们在适用场景和计算方法上有一些重要区别。 主成分分析(PCA) 定义: PCA是一种线性降维方法,通过正交变换将原始数据转化为一组线性不相关的变量(主成分)。这些主成分是数据中方差最大的方向。…

XLSX + LuckySheet + LuckyExcel实现前端的excel预览

文章目录 功能简介简单代码实现效果参考 功能简介 通过LuckyExcel的transformExcelToLucky方法, 我们可以把一个文件直接转成LuckySheet需要的json字符串, 之后我们就可以用LuckySheet预览excelLuckyExcel只能解析xlsx格式的excel文件,因此对…

.NET 漏洞分析 | 某ERP系统存在SQL注入

01阅读须知 此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等(包括但不限于)进行检测或维护参考,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失&#xf…

Java中s-EJB 与 e-EJB的区别

在Java中,关于“s-EJB”与“e-EJB”的区分,实际上可能存在一定的误解或混淆,因为在标准的EJB(Enterprise JavaBeans)术语中,并没有直接称为“s-EJB”和“e-EJB”的明确分类。然而,为了尝试解答这…

【Postman gRPC测试全攻略】探索微服务通信的新纪元

标题:【Postman gRPC测试全攻略】探索微服务通信的新纪元 gRPC是一种高性能、开源和通用的RPC框架,由Google主导开发,它使用Protocol Buffers作为接口描述语言和消息交换格式。Postman作为API开发的利器,也提供了对gRPC服务的测试…

封装2个函数

1 #include "key1.h"2 //封装EXTI章节函数3 void hal_exti_init(int exti,unsigned int i)4 {5 switch(exti)6 {7 case 9:8 //使能GPIOF外设时钟9 RCC->MP_AHB4ENSETR | (0x1<<5);10 //将PF9设置为输出模式11 …

MyBatis(22)如何在 MyBatis 中使用注解而不是 XML 映射文件

在 MyBatis 中&#xff0c;使用注解而不是 XML 映射文件来进行 SQL 映射是一种更为简洁直观的方式&#xff0c;尤其适用于 SQL 语句较少的场景。通过注解&#xff0c;开发者可以直接在接口方法上声明 SQL 语句&#xff0c;这样可以减少项目中的配置文件数量&#xff0c;使得项目…

学习笔记——动态路由——OSPF(认证)

十二、OSPF邻居认证 1、OSPF邻居认证概述 链路是路由器接口的另一种说法&#xff0c;因此OSPF也称为接口状态路由协议。OSPF通过路由器之间通告网络接口的状态来建立链路状态数据库&#xff0c;生成最短路径树&#xff0c;每个OSPF路由器使用这些最短路径构造路由表。 OSPF认…

基于Vue框架实现的记事本

<!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>懒人记事本</title><style>body {fo…

深度网络现代实践 - 深度前馈网络之反向传播和其他的微分算法篇

序言 反向传播&#xff08;Backpropagation&#xff0c;简称backprop&#xff09;是神经网络训练过程中最关键的技术之一&#xff0c;尤其在多层神经网络中广泛应用。它是一种与优化方法&#xff08;如梯度下降法&#xff09;结合使用的算法&#xff0c;用于计算网络中各参数的…

大数据面试题之数仓(1)

目录 介绍下数据仓库 数仓的基本原理 数仓架构 数据仓库分层(层级划分)&#xff0c;每层做什么?分层的好处? 数据分层是根据什么? 数仓分层的原则与思路 知道数仓建模常用模型吗?区别、优缺点? 星型模型和雪花模型的区别?应用场景?优劣对比 数仓建模有哪些方式…

【Symfony社区全接触】深入探索文档与支持资源

标题&#xff1a;【Symfony社区全接触】深入探索文档与支持资源 Symfony是一个强大的PHP框架&#xff0c;拥有一个活跃的开发者社区和丰富的文档资源。这些资源对于学习和使用Symfony至关重要。本文将详细介绍Symfony的文档和社区支持&#xff0c;包括官方文档、社区论坛、邮件…

如何计算弧线弹道的落地位置

1&#xff09;如何计算弧线弹道的落地位置 2&#xff09;Unity 2021 IL2CPP下使用Protobuf-net序列化报异常 3&#xff09;编译问题&#xff0c;用Mono可以&#xff0c;但用IL2CPP就报错 4&#xff09;Wwise的Bank在安卓上LoadBank之后&#xff0c;播放没有声音 这是第393篇UWA…

02 数据加工层 如何搭建用户与内容的标准规范体系

你好&#xff0c;我是周大壮。 01 讲我们提到了个性化流量分发体系的四个阶段&#xff0c;并着重讲解了数据采集阶段的内容。那么&#xff0c;这一讲我们主要围绕数据加工阶段的内容进行详细讲解。 在课程开始之前&#xff0c;我们先举一个场景进行说明。 近年来&#xff0c…

静态方法与实例方法的区别

静态方法与实例方法的区别 1、静态方法&#xff08;Static Methods&#xff09;1.1 调用方式1.2 访问权限 2、实例方法&#xff08;Instance Methods&#xff09;2.1 调用方式2.2 访问权限 3、总结 &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1…

大数据面试题之数仓(2)

目录 维度表和事实表的区别? 什么是ER模型? OLAP、OLTP解释(区别)三范式是什么&#xff0c;举些例子 维度设计过程&#xff0c;事实设计过程 维度设计中有整合和拆分&#xff0c;有哪些方法&#xff0c;并详细说明 事实表设计分几种&#xff0c;每一种都是如何在业…

【C++】解决 C++ 语言报错:Invalid Array Index

文章目录 引言 无效数组索引&#xff08;Invalid Array Index&#xff09;是 C 编程中常见且危险的错误之一。当程序试图使用不合法的索引访问数组时&#xff0c;就会发生无效数组索引错误。这种错误不仅会导致程序崩溃&#xff0c;还可能引发不可预测的行为和安全漏洞。本文将…

【PB案例学习笔记】-28制作一个右键菜单

写在前面 这是PB案例学习笔记系列文章的第28篇&#xff0c;该系列文章适合具有一定PB基础的读者。 通过一个个由浅入深的编程实战案例学习&#xff0c;提高编程技巧&#xff0c;以保证小伙伴们能应付公司的各种开发需求。 文章中设计到的源码&#xff0c;小凡都上传到了gite…

任天堂称未来第一方游戏不会使用生成式AI

虽然EA、育碧、暴雪、Embracer等西方游戏厂商都大力支持生成式AI技术&#xff0c;但日本老牌游戏公司任天堂并不会追随这一步伐。任天堂已经确认该公司未来的第一方游戏不会使用生成式AI技术。 在公司最近的投资人问答会上&#xff0c;任天堂描绘了公司未来游戏愿景。在谈到AI技…