调用 Xinference OpenAI接口时报错 Model not found in the model list, uid

错误如下, 请不要被错误吓住或蒙蔽双眼, 自己看最下面的报错内容

Traceback (most recent call last):
  File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\responses.py", line 259, in __call__
    await wrap(partial(self.listen_for_disconnect, receive))
  File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\responses.py", line 255, in wrap
    await func()
  File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\responses.py", line 232, in listen_for_disconnect
    message = await receive()
              ^^^^^^^^^^^^^^^
  File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\uvicorn\protocols\http\httptools_impl.py", line 555, in receive
    await self.message_event.wait()
  File "C:\Users\HW\.conda\envs\aibot\Lib\asyncio\locks.py", line 213, in wait
    await fut
asyncio.exceptions.CancelledError: Cancelled by cancel scope 25257b8d810
During handling of the above exception, another exception occurred:
  + Exception Group Traceback (most recent call last):
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\uvicorn\protocols\http\httptools_impl.py", line 401, in run_asgi
  |     result = await app(  # type: ignore[func-returns-value]
  |              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\uvicorn\middleware\proxy_headers.py", line 60, in __call__
  |     return await self.app(scope, receive, send)
  |            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\fastapi\applications.py", line 1054, in __call__
  |     await super().__call__(scope, receive, send)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\applications.py", line 113, in __call__
  |     await self.middleware_stack(scope, receive, send)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\middleware\errors.py", line 187, in __call__
  |     raise exc
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\middleware\errors.py", line 165, in __call__
  |     await self.app(scope, receive, _send)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\middleware\exceptions.py", line 62, in __call__
  |     await wrap_app_handling_exceptions(self.app, conn)(scope, receive, send)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\_exception_handler.py", line 53, in wrapped_app
  |     raise exc
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\_exception_handler.py", line 42, in wrapped_app
  |     await app(scope, receive, sender)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\routing.py", line 715, in __call__
  |     await self.middleware_stack(scope, receive, send)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\routing.py", line 735, in app
  |     await route.handle(scope, receive, send)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\routing.py", line 288, in handle
  |     await self.app(scope, receive, send)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\routing.py", line 76, in app
  |     await wrap_app_handling_exceptions(app, request)(scope, receive, send)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\_exception_handler.py", line 53, in wrapped_app
  |     raise exc
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\_exception_handler.py", line 42, in wrapped_app
  |     await app(scope, receive, sender)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\routing.py", line 74, in app
  |     await response(scope, receive, send)
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\responses.py", line 252, in __call__
  |     async with anyio.create_task_group() as task_group:
  |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\anyio\_backends\_asyncio.py", line 763, in __aexit__
  |     raise BaseExceptionGroup(
  | ExceptionGroup: unhandled errors in a TaskGroup (1 sub-exception)
  +-+---------------- 1 ----------------
    | Traceback (most recent call last):
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\responses.py", line 255, in wrap
    |     await func()
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\starlette\responses.py", line 244, in stream_response
    |     async for chunk in self.body_iterator:
    |   File "D:\codes\aibot\ask.py", line 49, in answer_generator
    |     for chunk in retrieval_chain.stream({"input": f"{request.question}"}):
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 5525, in stream
    |     yield from self.bound.stream(
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 3407, in stream
    |     yield from self.transform(iter([input]), config, **kwargs)
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 3394, in transform
    |     yield from self._transform_stream_with_config(
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 2197, in _transform_stream_with_config
    |     chunk: Output = context.run(next, iterator)  # type: ignore
    |                     ^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 3357, in _transform
    |     yield from final_pipeline
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\passthrough.py", line 576, in transform
    |     yield from self._transform_stream_with_config(
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 2197, in _transform_stream_with_config
    |     chunk: Output = context.run(next, iterator)  # type: ignore
    |                     ^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\passthrough.py", line 566, in _transform
    |     yield cast(dict[str, Any], first_map_chunk_future.result())
    |                                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\concurrent\futures\_base.py", line 456, in result
    |     return self.__get_result()
    |            ^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\concurrent\futures\_base.py", line 401, in __get_result
    |     raise self._exception
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\concurrent\futures\thread.py", line 58, in run
    |     result = self.fn(*self.args, **self.kwargs)
    |              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 3847, in transform
    |     yield from self._transform_stream_with_config(
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 2197, in _transform_stream_with_config
    |     chunk: Output = context.run(next, iterator)  # type: ignore
    |                     ^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 3832, in _transform
    |     chunk = AddableDict({step_name: future.result()})
    |                                     ^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\concurrent\futures\_base.py", line 449, in result
    |     return self.__get_result()
    |            ^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\concurrent\futures\_base.py", line 401, in __get_result
    |     raise self._exception
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\concurrent\futures\thread.py", line 58, in run
    |     result = self.fn(*self.args, **self.kwargs)
    |              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 5561, in transform
    |     yield from self.bound.transform(
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 3394, in transform
    |     yield from self._transform_stream_with_config(
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 2197, in _transform_stream_with_config
    |     chunk: Output = context.run(next, iterator)  # type: ignore
    |                     ^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 3357, in _transform
    |     yield from final_pipeline
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\output_parsers\transform.py", line 64, in transform
    |     yield from self._transform_stream_with_config(
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 2161, in _transform_stream_with_config
    |     final_input: Optional[Input] = next(input_for_tracing, None)
    |                                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\runnables\base.py", line 1431, in transform
    |     yield from self.stream(final, config, **kwargs)
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\language_models\chat_models.py", line 420, in stream
    |     raise e
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_core\language_models\chat_models.py", line 400, in stream
    |     for chunk in self._stream(messages, stop=stop, **kwargs):
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\langchain_openai\chat_models\base.py", line 658, in _stream
    |     response = self.client.create(**payload)
    |                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\openai\_utils\_utils.py", line 274, in wrapper
    |     return func(*args, **kwargs)
    |            ^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\openai\resources\chat\completions.py", line 815, in create
    |     return self._post(
    |            ^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\openai\_base_client.py", line 1277, in post
    |     return cast(ResponseT, self.request(cast_to, opts, stream=stream, stream_cls=stream_cls))
    |                            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\openai\_base_client.py", line 954, in request
    |     return self._request(
    |            ^^^^^^^^^^^^^^
    |   File "C:\Users\HW\.conda\envs\aibot\Lib\site-packages\openai\_base_client.py", line 1058, in _request
    |     raise self._make_status_error_from_response(err.response) from None
    | openai.BadRequestError: Error code: 400 - {'detail': '[address=0.0.0.0:12781, pid=304366] Model not found in the model list, uid: qwen2.5-instruct123'}

这里面列出来了找不到model, uid, 在加载模型时, Model UlD, model name by default 可选字段一定要填, 不填的话可能会生成随机的一个ID, 导致调用时找不到模型

重新加载模型, 按如下图示设置名称即可, 使用时使用设置的MODEL UID即可

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/61068.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

小红书内容推荐算法开发:利用API打造个性化用户体验

在这个内容为王的时代,个性化推荐算法成为了各大平台争夺用户注意力的利器。小红书,作为国内领先的内容分享社区,其丰富的用户生成内容(UGC)和独特的社区氛围,为推荐算法的开发提供了肥沃的土壤。本文将深入…

没钱买KEGG怎么办?REACTOME开源通路更强大

之前搜集免费生物AI插图时简单提到了通路数据库Reactome(https://reactome.org/), 那些精美的生物插图只能算是该数据库附赠的小礼品,他的主要功能还是作为一个开源的通路数据库,为相关领域的研究者提供直观的可视化生…

ChatGPT学术专用版,一键润色纠错+中英互译+批量翻译PDF

ChatGPT academic项目是由中科院团队基于ChatGPT专属定制。论文润色、语法检查、中英互译、代码解释等可一键搞定,堪称科研神器。 功能介绍 我们以3.5版本为例,ChatGPT学术版总共分为五个区域:输入控制区、输出对话区、基础功能区、函数插件…

版本控制【Git Bash】【Gitee】

目录 一、什么是版本控制? 二、版本控制的种类: 1、本地版本控制 2、集中版本控制 3、分布式版本控制 三、下载Git Bash 四、Git Bash 配置 五、Git Bash使用 1、切换目录:cd 2.查看当前文件路径:pwd 3.列出当前目录下文件…

关于Java合并多个Excel中的数据【该数据不是常规列表】,并入库保存的方案

1. 背景 最近在使用RPA(机器人流程自动化)做数据采集的时候。发现那个RPA采集,一次只能采集相同格式的数据,然后入到Excel或者库中。由于院内系统的业务限制,导致采集的数据是多个Excel,并且我们这边的需求…

【进阶系列】python的模块

模块 创建一个 .py 文件,这个文件就称之为 一个模块 Module 如何使用 import 想要B.py文件中,使用A.py文件,只需要在B.py文件中使用关键字import导入即可。 import A# 若A是一个包的话,可以这样写 import A.函数名from impor…

使用Web Workers提升JavaScript的并行处理能力

💓 博客主页:瑕疵的CSDN主页 📝 Gitee主页:瑕疵的gitee主页 ⏩ 文章专栏:《热点资讯》 使用Web Workers提升JavaScript的并行处理能力 使用Web Workers提升JavaScript的并行处理能力 使用Web Workers提升JavaScript的…

从零开始使用GOT-OCR2.0——多模态通用型OCR(非常具有潜力的开源OCR项目):项目环境安装配置 + 测试使用

在之前精读了这个多模态的OCR项目论文,理解了其基本的模型架构,论文精读地址: 【论文精读】GOT-OCR2.0源码论文——打破传统OCR流程的多模态视觉-语言大模型架构:预训练VitDet 视觉模型 阿里通义千问Qwen语言模型-CSDN博客 本文在…

【Golang】——Gin 框架中的表单处理与数据绑定

在 Web 应用开发中,表单是用户与服务器交互的重要手段。Gin 框架对表单处理提供了高效便捷的支持,包括数据绑定、验证等功能。在本篇博客中,我们将详细介绍如何使用 Gin 框架处理表单数据,涵盖基础操作与进阶技巧,帮助…

删除k8s 或者docker运行失败的脚本

vi delete_exited_containers.sh#!/bin/bash# 列出所有停止的容器并存储到数组 list_exited_containers() {echo -e "\nStopped containers:"containers()# 获取停止的容器信息并存入数组while IFS read -r line; docontainers("$line")done < <(do…

Linux(命令格式详细+字符集 图片+大白话)

后面也会持续更新&#xff0c;学到新东西会在其中补充。 建议按顺序食用&#xff0c;欢迎批评或者交流&#xff01; 缺什么东西欢迎评论&#xff01;我都会及时修改的&#xff01; 在这里真的很感谢这位老师的教学视频让迷茫的我找到了很好的学习视频 王晓春老师的个人空间…

Clip结合Faiss+Flask简易版文搜图服务

一、实现 使用目录结构&#xff1a; templates ---upload.html faiss_app.py 前端代码&#xff1a;upload.html <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content&quo…

SpringBoot 之整合gRPC

父工程中引入基本的依赖&#xff1a; <modules><module>api</module><module>client</module><module>service</module></modules><parent><artifactId>spring-boot-starter-parent</artifactId><group…

汽车资讯新篇章:Spring Boot技术启航

4系统概要设计 4.1概述 本系统采用B/S结构(Browser/Server,浏览器/服务器结构)和基于Web服务两种模式&#xff0c;是一个适用于Internet环境下的模型结构。只要用户能连上Internet,便可以在任何时间、任何地点使用。系统工作原理图如图4-1所示&#xff1a; 图4-1系统工作原理…

「二」体验HarmonyOS端云一体化开发模板(一)

关于作者 白晓明 宁夏图尔科技有限公司董事长兼CEO、坚果派联合创始人 华为HDE、润和软件HiHope社区专家、鸿蒙KOL、仓颉KOL 华为开发者学堂/51CTO学堂/CSDN学堂认证讲师 开放原子开源基金会2023开源贡献之星 1 前置条件 实名认证的华为开发者账号 安装DevEco Studio 5.0.0 Re…

逆向攻防世界CTF系列41-EASYHOOK

逆向攻防世界CTF系列41-EASYHOOK 看题目是一个Hook类型的&#xff0c;第一次接触&#xff0c;虽然学过相关理论&#xff0c;可以看我的文章 Hook入门(逆向)-CSDN博客 题解参考&#xff1a;https://www.cnblogs.com/c10udlnk/p/14214057.html和攻防世界逆向高手题之EASYHOOK-…

Windows文件资源管理器增强工具

引言&#xff1a; 资源管理器在我们使用电脑时是经常用到的&#xff0c;各种文件资源等的分类整理都离不开它。但是Windows Explorer确实不好用&#xff0c;不智能&#xff0c;不符合人体工程学。特别是在一些场合&#xff0c;在打开的一堆文件夹里&#xff0c;想从中找到自己要…

【Flask+Gunicorn+Nginx】部署目标检测模型API完整解决方案

【Ubuntu 22.04FlaskGunicornNginx】部署目标检测模型API完整解决方案 文章目录 1. 搭建深度学习环境1.1 下载Anaconda1.2 打包环境1.3 创建虚拟环境1.4 报错 2. 安装flask3. 安装gunicorn4. 安装Nginx4.1 安装前置依赖4.2 安装nginx4.3 常用命令 5. NginxGunicornFlask5.1 ng…

Mac系统下配置 Tomcat 运行环境

下载并解压JDK 下载 根据自己需求下载对应版本的 jdk&#xff0c;我演示使用的是最新版的 jdk23&#xff0c;其他版本过程一样。 如果你是 M 芯片可以点击这个链接下载 如果你是 Intel 芯片可以点击这个链接下载 解压 下载完成后双击解压&#xff0c;将解压出来的文件夹放…

Getx:响应式数据,实现数据的局部刷新

Flutter官网demo实现计数器 这个demo中&#xff0c;如果要更新_count&#xff0c;调用setState就会重新build&#xff0c;这样做比较耗费性能&#xff0c;此时可以使用Getx的响应式状态管理器实现局部刷新 import package:flutter/material.dart;class JiShu extends Stateful…