Chat With RTX 安装、使用问题记录

1.安装包运行检测环境失败

安装适合的的CUDA:https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=11

2.安装Chat With RTX 和 模型 Mistral 7B 失败

科学上网,可以单独装Chat With RTX 先,模型之后手动装
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.安装TensorRT-LLM

参考官方:https://github.com/NVIDIA/TensorRT-LLM/blob/rel/windows/README.md

参考命令:pip install tensorrt_llm --extra-index-url https://pypi.nvidia.com --extra-index-url https://download.pytorch.org/whl/cu121

实例:env_nvd_rag\python.exe -m pip install tensorrt_llm --extra-index-url https://pypi.nvidia.com --extra-index-url https://download.pytorch.org/whl/cu121
在这里插入图片描述
在这里插入图片描述

4.基于TensorRT-LLM构建新模型(别急着装先)

例如Qwen,参考:https://github.com/NVIDIA/TensorRT-LLM/blob/rel/examples/qwen/README.md

先安装下对应的依赖
在这里插入图片描述
根据文档提示进行构建
在这里插入图片描述

5.配置模型到RAG

在这里插入图片描述
在这里插入图片描述

6.启动程序 app_launch.bat

在这里插入图片描述

报错

0.ModuleNotFoundError: No module named ‘tensorrt_llm’

参考:3.安装TensorRT-LLM

1.FileNotFoundError: [Errno 2] No such file or directory: ‘F:\ChatWithRTX\RAG\trt-llm-rag-windows-main\model\mistral\mistral7b_int4_engine\config.json’

进行一个配置文件的修改
在这里插入图片描述

{"name": "Qwen 1.8B Chat int4","installed": true,"metadata": {"model_path": "model\\Qwen\\Qwen-1_8B-Chat\\trt_engines\\int4_weight_only\\1-gpu","engine": "qwen_float16_tp1_rank0.engine","tokenizer_path": "model\\Qwen\\Qwen-1_8B-Chat","max_new_tokens": 1024,"max_input_token": 4096,"temperature": 0.1}
},
{"name": "Mistral 7B int4","installed": false,"metadata": {"model_path": "model\\mistral\\mistral7b_int4_engine","engine": "llama_float16_tp1_rank0.engine","tokenizer_path": "model\\mistral\\mistral7b_hf","max_new_tokens": 1024,"max_input_token": 7168,"temperature": 0.1}
},

在这里插入图片描述

2.gradio版本问题

使用官方提供的版本
在这里插入图片描述

3.gradio.exceptions.Error: 'Invalid session’报错

在这里插入图片描述

修改参考 “F:\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py”
在这里插入图片描述

def _validate_request(self, request: gr.Request):headers = request.headerssession_key = Noneif 'cookie' in headers:cookies = headers['cookie']if '_s_chat_' in cookies:cookies = cookies.split('; ')for cookie in cookies:key, value = cookie.split('=', 1)  # 在这里使用maxsplit参数if key == '_s_chat_':session_key = valueif session_key is None or session_key != self._secure_cookie:raise Exception('session validation failed')  # 使用Exception代替字符串抛出错误return True

4.无法定位程序输入点 xxx bin\cudnn_adv_infer64_8.dll 上

webui正常启动了,但qwen无法使用,默认模型可以。。。(qwen模型问题继续研究)在这里插入图片描述

问下GPT:
在这里插入图片描述

重装了cuda、cudnn,配置了环境变量,还是报错,重装了chat With RTX,顺带把模型勾上装了次,居然不报错了,有点东西。

正常情况

自动打开浏览器访问webui
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/698929.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Windows+Yolo3-darknet训练自己数据集并测试

WindowsYolo3-darknet训练自己的数据集并测试 一、首要条件 Windows 7下配置好VS2015OPENCV3.4.2YOLO3CUDA10.0CUDNN7.5生成darknet.exe。具体配置可参考我的博客:https://blog.csdn.net/wszswllnzn_/article/details/100760477 二.制作数据集 1、方法1 使用软件la…

ASPxGridView中使用PopupEditForm表单字段联动填充

c#中devexpress的控件ASPxGridView中使用PopupEditForm表单字段联动填充 //选择项目名称&#xff0c;自动填充项目编号 <Columns><dx:GridViewDataTextColumn FieldName"id" ReadOnly"True" VisibleIndex"0" Visible"False"…

com.alibaba.nacos.api.exception.NacosException: Request nacos server failed

问题描述 安装nacos2.0以上版本&#xff0c;启动报错:com.alibaba.nacos.api.exception.NacosException: Request nacos server failed com.alibaba.nacos.api.exception.NacosException: Request nacos server failed: at com.alibaba.nacos.client.naming.remote.gprc.Nami…

MFC 多文档程序的基本编程

下载了一个openGL mfc的多文档程序,以此来学习mfc多文档模式的编程; 1 基本编程 它每次新建一个文档,会在窗口绘制一个三角形、一个矩形;如果没有了图形刷新一下; 先看一下为什么每次打开新文档会绘制图形; 生成工程之后主要有5个类,比单文档程序多了一个子框架类; 可…

记录一下我的Ruby On Rails的systemd服务脚本

自己也是一个 ROR 框架的学习者&#xff0c;同时也是 Ruby 的新手。对于如何让 ROR 应用随系统自动启动并不是很了解。在尝试了各种方法之后&#xff0c;我最终找到了一条可行的途径。虽然不确定是否完全正确&#xff0c;但服务已经成功启动了。因此&#xff0c;我决定在这里保…

hive中如何取交集并集和差集

交集 要获取两个表的交集&#xff0c;你可以使用INNER JOIN或者JOIN&#xff1a; SELECT * FROM table1 JOIN table2 ON table1.column_name table2.column_name;也可以使用 INTERSECT 关键字 SELECT * FROM table1 INTERSECT SELECT * FROM table2;并集 要获取两个表的并集…

华为HCIP Datacom H12-831 卷23

单选题 1、某园区部署IS-IS实现网络互通&#xff0c;在所有IS-IS路由器的进程中配置命令flash-flood 6 max-timer-interval 100 Leve1-2&#xff0c;则以下关于该场景的描述,正确的是哪—项? A、若某IS-IS路由器LSDB内更新的LSP数量为5,则在100毫秒内且路由计算完成前&#…

Java向ES库中插入数据报错:I/O reactor status: STOPPED

Java向ES库中插入数据报错&#xff1a;java.lang.IllegalStateException: Request cannot be executed; I/O reactor status: STO 一、问题问题原因 二、解决思路 一、问题 在使用Java向ES库中插入数据时&#xff0c;第一次成功插入&#xff0c;第二次出现以下错误&#xff1a…

【力扣经典面试题】238. 除自身以外数组的乘积

目录 一、题目描述 二、题解分析 思路&#xff1a; 算法步骤&#xff1a; 代码(C版)&#xff1a; 三、总结 一、题目描述 给你一个整数数组 nums&#xff0c;返回 数组 answer &#xff0c;其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据 保证…

【八股文面试】Java基础常见面试题总结(上)

Java基础常见面试题总结(上) Java有哪些特性 简单易学&#xff1b;面向对象&#xff08;封装&#xff0c;继承&#xff0c;多态&#xff09;&#xff1b;平台无关性&#xff08; Java 虚拟机实现平台无关性&#xff09;&#xff1b;支持多线程&#xff08; C 语言没有内置的多…

K8S-001-Virtual box - Network Config

A. 配置两个IP&#xff0c; 一个连接内网&#xff0c;一个链接外网: 1. 内网配置(Host only&#xff0c; 不同的 virutal box 的版本可以不一样&#xff0c;这些窗口可能在不同的地方&#xff0c;但是配置的内容是一样的): 静态IP 动态IP 2. 外网&#xff08;创建一个 Networ…

petalinux_zynq7 驱动DAC以及ADC模块之一:建立IP

0. 环境 - ubuntu18 - vivado 2018.3 - mizar z7010 ada106模块 1. vivado 1.1 创建vivado工程 运行vivado source /tools/Xilinx/Vivado/2018.3/settings64.sh vivado& 创建vivado工程 Vivado -> Create Project -> Next -> -> Project name: …

下载 axios.js 文件到本地【linux】

方式一 npm install axios在$NODE_PATH/node_modules/axios/dist路径下即可找到axios.js。 方式二 1、百度搜索 GitHub 官网&#xff1a;https://github.com/ 2、搜索 axios 3、点击 axios/axios 4、下载到本地 5、解压&#xff0c;进入到 dist 文件夹** 参考&#x…

30题ctf总结

命令执行 [WUSTCTF2020]朴实无华1-CSDN博客 命令执行 [强网杯 2019]高明的黑客1-CSDN博客 cookie伪造 [BSidesCF 2019]Kookie1-CSDN博客 sql注入 [极客大挑战 2019]FinalSQL1-CSDN博客 模板注入 [BJDCTF2020]Cookie is so stable1-CSDN博客 命令绕过 [安洵杯 2019]easy_web1…

Linux 可视化管理-webmin 和 bt 运维工具安装教程

Linux 可视化管理-webmin 和 bt 运维工具安装教程 webmin webmin 是功能强大的基于 Web 的 Unix/linux 系统管理工具。管理员通过浏览器访问 Webmin 的各种管理功能并完成相应的管理操作。除了各版本的 linux 以外还可用于&#xff1a;AIX、HPUX、Solaris、Unixware、Irix 和…

C语言之mkdtemp()特定占位符:XXXXXX 用法实例(八十五)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a;多媒…

Ps:原色通道直方图(CMYK)

在 CMYK 颜色模式下&#xff0c;Photoshop 的“通道”面板中有青色、洋红、黄色及黑色四个原色通道。 与 RGB 颜色模式基于光的加法混合不同&#xff0c;CMYK 颜色模式基于颜料的减法混合&#xff0c;更适合反映实际印刷中油墨的使用情况。 默认情况下&#xff0c;CMYK 原色通道…

【C语言】整型变量与字符变量在任何情况下都可以互相代替吗?

解答&#xff1a; 在C语言中&#xff0c;整型变量和字符变量在某些情况下可以互相代替&#xff0c;但并非在任何情况下都可以互相代替。 char c A; int i c; printf("%d\n", i); // 输出65int j 65; char ch j; printf("%c\n", ch); // 输出A 在这个例…

动态绑定样式,uniapp,用三元运算动态绑定多个class类样式,动态绑定的样式可以和原始样式共存

介绍 | uni-app官网 vue、uniapp中动态添加绑定style、class 9种方法实现_vue style动态绑定-CSDN博客 uniapp使用三元运算符动态绑定元素的style样式_uniapp style动态绑定-CSDN博客 对象写法,可以写多个class类 class类的名字&#xff1a;判断条件&#xff0c;最后结果只有…

C#中用ffmpeg截取视频使用要点

一、代码 string inputFile "E:\\Test\\1\\5.mp4"; string outputFile "E:\\Test\\1\\10.mp4"; int startTime 5; // 开始时间&#xff08;秒&#xff09; int endtime 10; // 结束时间&#xff08;秒&#xff09;Process p new Process(); p.StartI…