本地个性化聊天机器人CHAT WITH RTX

英伟达推出了自家版本的ChatGPT

Chat With RTX 是一款演示应用程序,可让您个性化连接到您自己的内容(文档、笔记、视频或其他数据)的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM和 RTX 加速,您可以查询自定义聊天机器人以快速获得上下文相关的答案。由于它全部在您的 Windows RTX PC 或工作站上本地运行,因此您将获得快速、安全的结果

Chat with RTX是一个技术演示,现已免费>>>下载<<<,可让用户使用自己的内容个性化聊天机器人,并由本地NVIDIA GeForce RTX 30 系列 GPU或更高版本(具有至少 8GB 视频随机存取存储器或 VRAM)加速

Chat with RTX 使用检索增强生成(RAG)、NVIDIA TensorRT-LLM软件和 NVIDIA RTX 加速,为本地 GeForce 支持的 Windows PC 带来生成式 AI 功能。用户可以快速、轻松地将 PC 上的本地文件作为数据集连接到 Mistral 或 Llama 2 等开源大型语言模型,从而能够快速查询上下文相关的答案。

用户只需键入查询即可,而无需搜索笔记或保存的内容。例如,人们可以问:“我的伴侣在拉斯维加斯时推荐的餐厅是什么?” Chat with RTX 将扫描用户指向的本地文件并提供带有上下文的答案。

该工具支持各种文件格式,包括.txt、.pdf、.doc/.docx 和.xml。将应用程序指向包含这些文件的文件夹,该工具将在几秒钟内将它们加载到其库中。

用户还可以包含来自 YouTube 视频和播放列表的信息。将视频 URL 添加到 Chat with RTX 允许用户将这些知识集成到他们的聊天机器人中以进行上下文查询。例如,根据最喜欢的影响者视频的内容询问旅行建议,或根据顶级教育资源获取快速教程和操作方法。


系统要求
平台        视窗
图形处理器        NVIDIA GeForce™ RTX 30 或 40 系列 GPU 或 NVIDIA RTX™ Ampere 或 Ada Generation GPU,具有至少 8GB VRAM
内存        16GB 或更大
操作系统        视窗11
司机        535.11 或更高版本
 



下载解压文件:
 



运行setup.exe
 



默认选择主程序chat with RTX 和 mistral 7B INT4,点击下一步,需要科学上网
 



安装完成
 



启动
 



启动成功
 



会自动打开网页
http://127.0.0.1:28781/?__theme=dark

 



不愧是英伟达的产品,显卡的性能发挥得比较充分,8G显存用了6G多,CPU的内存的负担不重。
 



后面将对他进行更详细的测试,关注我

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/687471.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

django定时任务(django-crontab)

目录 一&#xff1a;安装django-crontab&#xff1a; 二&#xff1a;添加django_crontab到你的INSTALLED_APPS设置&#xff1a; 三&#xff1a;运行crontab命令来创建或更新cron作业&#xff1a; 四&#xff1a;定义你的cron作业 五&#xff1a;创建你的管理命令&#xff…

《学成在线》微服务实战项目实操笔记系列(P92~P120)【下】

史上最详细《学成在线》项目实操笔记系列【下】&#xff0c;跟视频的每一P对应&#xff0c;全系列18万字&#xff0c;涵盖详细步骤与问题的解决方案。如果你操作到某一步卡壳&#xff0c;参考这篇&#xff0c;相信会带给你极大启发。 四、课程发布模块 4.1 (课程发布)模块需求…

【leetcode】深搜、暴搜、回溯、剪枝(C++)3

深搜、暴搜、回溯、剪枝&#xff08;C&#xff09;3 一、解数独1、题目描述2、代码3、解析 二、单词搜索1、题目描述2、代码3、解析 三、黄金矿工1、题目描述2、代码3、解析 四、不同路径III1、题目描述2、代码3、解析 一、解数独 1、题目描述 leetcode链接 2、代码 class…

三组I/O复用函数的比较

目录 事件集最大支持文件描述符数工作模式实现原理一图 这三组I/O复用系统调用&#xff0c;这三组系统调用都能同时监听多个文件描述符&#xff0c;它们将等待由timeout参数指定超时时间&#xff0c;知道一个或者多个文件描述上面有事件发生时候返回&#xff0c;返回的就是就绪…

AIGC ChatGPT4 教你如何完成业务需求SQL的编写

源表字段与数据信息为&#xff1a; 需求&#xff1a;现需要统计各部门各岗位下的平均工资 &#xff0c;将员工工资大于本岗位下平均工资的员工信息显示出来。 如Prompt: 有一个某公司职员表&#xff0c;表名为Bank_emp&#xff0c;empno为员工编号&#xff0c;ename为员工姓名…

如果很穷,不妨试一下这个副业,搞钱最快的副业!

前言 相信每一位学习计算机的朋友都想利用自己所学的知识赚点生活费&#xff0c;我也不例外&#xff0c;哈哈哈&#xff0c;学了这么多年&#xff0c;总得让它发挥点价值不是吗。今天就跟大家分享一下我的真实经历&#xff0c;我是如何利用python兼职实现月收入破万的。下面是…

实战 | 使用CNN和OpenCV实现数字识别项目(步骤 + 源码)

导 读 本文主要介绍使用CNN和OpenCV实现数字识别项目,含详细步骤和源码。 前 言 在当今世界,深度学习和图像处理技术正在各个应用领域得到利用。在这篇博文中,我们将使用卷积神经网络 (CNN) 和 OpenCV 库完成数字识别项目。我们将逐步掌握该项目如何执行。 项目准…

自然语言编程系列(三):自然语言编程工具

自然语言编程工具尝试让用户以更接近日常对话的方式描述任务&#xff0c;然后将其自动转换成合适的代码。 自然语言编程工具&#xff08;Natural Language Programming, NLP&#xff09;旨在降低编程门槛&#xff0c;使得不具备传统编程技能的用户能够以他们习惯的日常对话方式…

spark sql官网优化指南

两句话概括 缓存数据调整参数 缓存数据 把数据缓存到内存,spark sql能够只扫描需要列并且会自动压缩数据,占用最小的内存和减小GC压力。这无需多言,内存远远要快于磁盘,spark效率比hive高这个就是一个主要原因。 缓存数据代码spark.catalog.cacheTable("tableName&qu…

Python实现EMV指标计算:股票技术分析的利器系列(2)

Python实现EMV指标计算&#xff1a;股票技术分析的利器系列&#xff08;2&#xff09; 介绍算法解释&#xff1a; 核心代码&#xff1a;rolling函数介绍 完整代码&#xff1a;一定要看 介绍 先看看官方介绍&#xff1a; EMV(简易波动指标&#xff09; 用法 1.EMV 由下往上穿越…

Dynamo根据几何相交对墙体进行分组——群问题整理002

你好&#xff0c;这里是 BIM 的乐趣&#xff0c;我是九哥~ 近期给大家分享一些短平快的小教程&#xff0c;基本都是来自群里面常问的问题&#xff0c;不做过多的介绍了&#xff0c;直接上截图和代码。 问题&#xff1a;002 - 根据几何相交对墙体进行分组 今天分享的&#xff0…

OpenAI取消GPT-4 Turbo每日限制,速率提升一倍;扩散模型的理论基础

&#x1f989; AI新闻 &#x1f680; OpenAI取消GPT-4 Turbo每日限制&#xff0c;速率提升一倍 摘要&#xff1a;OpenAI宣布取消GPT-4 Turbo的每日限制&#xff0c;提升速率限制1倍&#xff0c;每分钟可处理高达150万TPM的数据。 OpenAI解释速率限制对防止API滥用、确保公平访…

用例是独立的-《软件方法》自测题解析38

DDD领域驱动设计批评文集 做强化自测题获得“软件方法建模师”称号 《软件方法》各章合集 《软件方法》第5章自测题2 8 [ 多选题 ] 根据以下业务序列图&#xff0c;请问属于“一卡通系统”用例的有&#xff1a;  A) 外来办事人员→登记  B) 一卡通系统→判断黑名单 …

【IDEA关闭项目一直转圈】

IDEA关闭项目一直转圈&#xff1a; IDEA启动时&#xff0c;会自动打开上次关闭时所有显示的窗口&#xff0c;如果本次工作不需要上次打开的所有窗口&#xff0c;可以基于选择窗口界面的右上角去关闭。 项目关闭失败 但是偶尔会出现窗口关闭时&#xff0c;一直显示“正在关闭项…

如何选择阿里云服务器配置?阿里云服务器CPU内存带宽攻略

阿里云服务器配置怎么选择&#xff1f;根据实际使用场景选择&#xff0c;个人搭建网站可选2核2G配置&#xff0c;访问量大的话可以选择2核4G配置&#xff0c;企业部署Java、Python等开发环境可以选择2核8G配置&#xff0c;企业数据库、Web应用或APP可以选择4核8G配置或4核16G配…

leetcode日记(31)缺失的第一个正数

挺简单的困难题 class Solution { public:int firstMissingPositive(vector<int>& nums) {sort(nums.begin(),nums.end());int nnums.size();int i0;bool b0;if(nums[0]>0) b1;int p1;for(;i<n;i){if(i1>0&&i1<nums.size()&&nums[i]<…

普中51单片机学习(六)

点亮第一个LED LED相关知识 LED,即发光二极管&#xff0c;是一种半导体固体发光器件。工作原理为&#xff1a;LED的工作是有方向性的&#xff0c;只有当正级接到LED阳极&#xff0c;负极接到LED的阴极的时候才能工作&#xff0c;如果反接LED是不能正常工作的。其原理图如下 …

【Path Intellisense插件】配置@路径提示

问题 默认情况下&#xff0c;Path Intellisense插件安装后&#xff0c;使用路径简写是不带提示的 解决办法 点击插件中的扩展设置 往下翻&#xff0c;直到找到 在 settings.json 中编辑&#xff0c;点击 将下述代码直接复制粘贴到指定位置 "path-intellisense.mappings…

防火墙 iptables(二)--------------SNAT与DNAT

一、SNAT ①SNAT 应用环境: 局域网主机共享单个公网IP地址接入Internet (私有IP不能在Internet中正常路由) ②SNAT原理: 源地址转换&#xff0c;根据指定条件修改数据包的源IP地址&#xff0c;通常被叫做源映射 数据包从内网发送到公网时&#xff0c;SNAT会把数据包的源IP由…

深入解析鸿蒙系统的页面路由(Router)机制

鸿蒙系统以其独特的分布式架构和跨设备的统一体验而备受瞩目。在这个系统中&#xff0c;页面路由&#xff08;Router&#xff09;机制是连接应用各页面的关键组成部分。本文将深入探讨鸿蒙系统的页面路由&#xff0c;揭示其工作原理、特点以及在应用开发中的实际应用。 1. 实现…