本地个性化聊天机器人CHAT WITH RTX

英伟达推出了自家版本的ChatGPT

Chat With RTX 是一款演示应用程序,可让您个性化连接到您自己的内容(文档、笔记、视频或其他数据)的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM和 RTX 加速,您可以查询自定义聊天机器人以快速获得上下文相关的答案。由于它全部在您的 Windows RTX PC 或工作站上本地运行,因此您将获得快速、安全的结果

Chat with RTX是一个技术演示,现已免费>>>下载<<<,可让用户使用自己的内容个性化聊天机器人,并由本地NVIDIA GeForce RTX 30 系列 GPU或更高版本(具有至少 8GB 视频随机存取存储器或 VRAM)加速

Chat with RTX 使用检索增强生成(RAG)、NVIDIA TensorRT-LLM软件和 NVIDIA RTX 加速,为本地 GeForce 支持的 Windows PC 带来生成式 AI 功能。用户可以快速、轻松地将 PC 上的本地文件作为数据集连接到 Mistral 或 Llama 2 等开源大型语言模型,从而能够快速查询上下文相关的答案。

用户只需键入查询即可,而无需搜索笔记或保存的内容。例如,人们可以问:“我的伴侣在拉斯维加斯时推荐的餐厅是什么?” Chat with RTX 将扫描用户指向的本地文件并提供带有上下文的答案。

该工具支持各种文件格式,包括.txt、.pdf、.doc/.docx 和.xml。将应用程序指向包含这些文件的文件夹,该工具将在几秒钟内将它们加载到其库中。

用户还可以包含来自 YouTube 视频和播放列表的信息。将视频 URL 添加到 Chat with RTX 允许用户将这些知识集成到他们的聊天机器人中以进行上下文查询。例如,根据最喜欢的影响者视频的内容询问旅行建议,或根据顶级教育资源获取快速教程和操作方法。


系统要求
平台        视窗
图形处理器        NVIDIA GeForce™ RTX 30 或 40 系列 GPU 或 NVIDIA RTX™ Ampere 或 Ada Generation GPU,具有至少 8GB VRAM
内存        16GB 或更大
操作系统        视窗11
司机        535.11 或更高版本
 



下载解压文件:
 



运行setup.exe
 



默认选择主程序chat with RTX 和 mistral 7B INT4,点击下一步,需要科学上网
 



安装完成
 



启动
 



启动成功
 



会自动打开网页
http://127.0.0.1:28781/?__theme=dark

 



不愧是英伟达的产品,显卡的性能发挥得比较充分,8G显存用了6G多,CPU的内存的负担不重。
 



后面将对他进行更详细的测试,关注我

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/687471.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

django定时任务(django-crontab)

目录 一&#xff1a;安装django-crontab&#xff1a; 二&#xff1a;添加django_crontab到你的INSTALLED_APPS设置&#xff1a; 三&#xff1a;运行crontab命令来创建或更新cron作业&#xff1a; 四&#xff1a;定义你的cron作业 五&#xff1a;创建你的管理命令&#xff…

《学成在线》微服务实战项目实操笔记系列(P92~P120)【下】

史上最详细《学成在线》项目实操笔记系列【下】&#xff0c;跟视频的每一P对应&#xff0c;全系列18万字&#xff0c;涵盖详细步骤与问题的解决方案。如果你操作到某一步卡壳&#xff0c;参考这篇&#xff0c;相信会带给你极大启发。 四、课程发布模块 4.1 (课程发布)模块需求…

待处理的研究内容

android是不是可以在子线程中更新UI 回答是可以的 android之所以不能在子线程中更新Ui是因为 requestLayout会重新测量布局&#xff0c;走了ViewRoot的一系列方法&#xff0c;也会走 ViewRootImp的requestLayout() public void requestLayout() {if (!mHandlingLayoutInLa…

【leetcode】深搜、暴搜、回溯、剪枝(C++)3

深搜、暴搜、回溯、剪枝&#xff08;C&#xff09;3 一、解数独1、题目描述2、代码3、解析 二、单词搜索1、题目描述2、代码3、解析 三、黄金矿工1、题目描述2、代码3、解析 四、不同路径III1、题目描述2、代码3、解析 一、解数独 1、题目描述 leetcode链接 2、代码 class…

三组I/O复用函数的比较

目录 事件集最大支持文件描述符数工作模式实现原理一图 这三组I/O复用系统调用&#xff0c;这三组系统调用都能同时监听多个文件描述符&#xff0c;它们将等待由timeout参数指定超时时间&#xff0c;知道一个或者多个文件描述上面有事件发生时候返回&#xff0c;返回的就是就绪…

AIGC ChatGPT4 教你如何完成业务需求SQL的编写

源表字段与数据信息为&#xff1a; 需求&#xff1a;现需要统计各部门各岗位下的平均工资 &#xff0c;将员工工资大于本岗位下平均工资的员工信息显示出来。 如Prompt: 有一个某公司职员表&#xff0c;表名为Bank_emp&#xff0c;empno为员工编号&#xff0c;ename为员工姓名…

如果很穷,不妨试一下这个副业,搞钱最快的副业!

前言 相信每一位学习计算机的朋友都想利用自己所学的知识赚点生活费&#xff0c;我也不例外&#xff0c;哈哈哈&#xff0c;学了这么多年&#xff0c;总得让它发挥点价值不是吗。今天就跟大家分享一下我的真实经历&#xff0c;我是如何利用python兼职实现月收入破万的。下面是…

实战 | 使用CNN和OpenCV实现数字识别项目(步骤 + 源码)

导 读 本文主要介绍使用CNN和OpenCV实现数字识别项目,含详细步骤和源码。 前 言 在当今世界,深度学习和图像处理技术正在各个应用领域得到利用。在这篇博文中,我们将使用卷积神经网络 (CNN) 和 OpenCV 库完成数字识别项目。我们将逐步掌握该项目如何执行。 项目准…

转义序列说明符 续行符(\)

\的作用 转义序列说明符续行符 转义序列 活跃位置:输出设备(显示器、打印机等)中下一个字符将要出现的位置&#xff0c;对于显示器则为下个字符将出现的位置。 转义序列含义\a蜂鸣器\b退格(将活跃位置移动到前一列)\f换页(将活跃位置移动到下一页开头)\n换行(将活跃位置移动…

自然语言编程系列(三):自然语言编程工具

自然语言编程工具尝试让用户以更接近日常对话的方式描述任务&#xff0c;然后将其自动转换成合适的代码。 自然语言编程工具&#xff08;Natural Language Programming, NLP&#xff09;旨在降低编程门槛&#xff0c;使得不具备传统编程技能的用户能够以他们习惯的日常对话方式…

【SQL】sql记录

mysql 1、start with star with 是一种用于层次结构查询的语法&#xff0c;它允许我们从指定的起始节点开始&#xff0c;递归查询与该节点相关联的所有子节点。 SELECT id, name, parent_id from test001 START WITH id 1 CONNECT BY PRIOR id parent_id

Redis数据类型及其使用场景

Redis数据类型及其使用场景 Redis是一种高性能的内存数据库&#xff0c;支持多种数据类型&#xff0c;每种数据类型都有其特定的使用场景和底层结构。本文将介绍Redis的主要数据类型及其使用场景&#xff0c;并探讨这些数据类型对应的底层结构。 1. 字符串&#xff08;String…

spark sql官网优化指南

两句话概括 缓存数据调整参数 缓存数据 把数据缓存到内存,spark sql能够只扫描需要列并且会自动压缩数据,占用最小的内存和减小GC压力。这无需多言,内存远远要快于磁盘,spark效率比hive高这个就是一个主要原因。 缓存数据代码spark.catalog.cacheTable("tableName&qu…

Python实现EMV指标计算:股票技术分析的利器系列(2)

Python实现EMV指标计算&#xff1a;股票技术分析的利器系列&#xff08;2&#xff09; 介绍算法解释&#xff1a; 核心代码&#xff1a;rolling函数介绍 完整代码&#xff1a;一定要看 介绍 先看看官方介绍&#xff1a; EMV(简易波动指标&#xff09; 用法 1.EMV 由下往上穿越…

Dynamo根据几何相交对墙体进行分组——群问题整理002

你好&#xff0c;这里是 BIM 的乐趣&#xff0c;我是九哥~ 近期给大家分享一些短平快的小教程&#xff0c;基本都是来自群里面常问的问题&#xff0c;不做过多的介绍了&#xff0c;直接上截图和代码。 问题&#xff1a;002 - 根据几何相交对墙体进行分组 今天分享的&#xff0…

二.自定义头文件

一.Worker.h 1.1概述 - 类名&#xff1a;Worker - 继承关系&#xff1a;所有其他类&#xff08;Employee、Manager、Boss&#xff09;都继承自该抽象类 - 头文件保护&#xff1a;使用 pragma once 防止头文件重复包含 - 引入标准库&#xff1a;包含 <iostream> 和 <st…

OpenAI取消GPT-4 Turbo每日限制,速率提升一倍;扩散模型的理论基础

&#x1f989; AI新闻 &#x1f680; OpenAI取消GPT-4 Turbo每日限制&#xff0c;速率提升一倍 摘要&#xff1a;OpenAI宣布取消GPT-4 Turbo的每日限制&#xff0c;提升速率限制1倍&#xff0c;每分钟可处理高达150万TPM的数据。 OpenAI解释速率限制对防止API滥用、确保公平访…

用例是独立的-《软件方法》自测题解析38

DDD领域驱动设计批评文集 做强化自测题获得“软件方法建模师”称号 《软件方法》各章合集 《软件方法》第5章自测题2 8 [ 多选题 ] 根据以下业务序列图&#xff0c;请问属于“一卡通系统”用例的有&#xff1a;  A) 外来办事人员→登记  B) 一卡通系统→判断黑名单 …

【IDEA关闭项目一直转圈】

IDEA关闭项目一直转圈&#xff1a; IDEA启动时&#xff0c;会自动打开上次关闭时所有显示的窗口&#xff0c;如果本次工作不需要上次打开的所有窗口&#xff0c;可以基于选择窗口界面的右上角去关闭。 项目关闭失败 但是偶尔会出现窗口关闭时&#xff0c;一直显示“正在关闭项…

如何选择阿里云服务器配置?阿里云服务器CPU内存带宽攻略

阿里云服务器配置怎么选择&#xff1f;根据实际使用场景选择&#xff0c;个人搭建网站可选2核2G配置&#xff0c;访问量大的话可以选择2核4G配置&#xff0c;企业部署Java、Python等开发环境可以选择2核8G配置&#xff0c;企业数据库、Web应用或APP可以选择4核8G配置或4核16G配…