简单两步实现离线部署ChatGPT,ChatGPT平替版,无需GPU离线搭建ChatGPT

文末附主程序安装包和大模型参数文件~
演示效果如下图所示:

在这里插入图片描述

一、使用方法

软件主要分为两个部分:GPT4ALL软件主体(主程序)+模型参数(离线模型),如果使用API Key的话则不需要下载模型参数。

可以从官网下载主程序安装包或者直接使用小编准备好安装包进行主程序安装(软件官网也在最后的链接中)。

1、主程序安装

以Windows为例,双击安装程序正常执行主程序安装即可,大概需要200MB左右的磁盘空间。

在这里插入图片描述
安装完成后,第一次进入主程序界面会出现两个隐私选项,为了保证个人隐私的安全,建议都选择【No】。

在这里插入图片描述

2、模型下载

选择完隐私选项后,大概率会自动弹出一个窗口,让我们选择一个模型进行下载,其中有红色字体的的模型表示不推荐下载,大概率是因为内存不满足模型运行的最低要求。这里最小的模型为GPT4ALL Falcon,该模型包含70亿参数,只需要8GB的可支配运行内存即可。

【注】:可支配内存为8G往往需要电脑的实际内存大于8G,总内存为8G的电脑可支配内存通常不足8G(维持操作系统运行要用掉一部分)。

在这里插入图片描述

别着急点击下载,据小编测试,使用国内网络大概率不能下载成功,并且直接在软件内部下载会有极大可能下载几MB后卡住不动,所以小编推荐在官网下载模型参数(官网地址见链接中文本文件),然后手动导入(GPT4ALL Falcon模型小编已经下载好放在最后的链接里了,大家下载后直接导入即可)。

官网下载模型方法:在官网下拉找到【Model Explorer】,从下拉框找到需要下载的模型然后点击右下角的下载按钮即可下载,推荐使用迅雷等下载软件下载,否则很可能下载到一半因链接中断需要重新下载。

在这里插入图片描述

模型文件的后缀名为【.bin】,将模型文件下载下来后,我们在主程序中点击【设置】按钮。

在这里插入图片描述

进入设置界面后,点击【Application】,在【Download path】按钮旁边有一个【Browse】按钮,用于选择模型默认下载路径,点击该按钮,然后选择模型文件所在的路径作为默认下载路径。

在这里插入图片描述

一般来说经过上述设置,主程序就可以自动识别模型,需要注意的是,尽量不要在模型存放路径中出现中文,否则很可能会在加载模型时出现类似下面这样的错误提示。

在这里插入图片描述

建议直接在D盘根目录创建一个名为【Model】的文件夹作为模型默认下载路径,然后直接将模型文件放在这个文件夹即可。

如此一来,就可以使用这款本地GPT为你完成一些简单的工作啦,经过小编测试,该离线版GPT响应速度还可以(和CPU性能有关,设置中可以调整线程数,线程数越多,使用的CPU资源越多,模型响应速度越快),并且具备编写代码的功能,可惜仅支持英文沟通,当你用中文描述问题时,模型会表示无法理解你的问题。

在这里插入图片描述

二、下载链接

见评论区

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/97260.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux和Hadoop的学习

目录 1. Linux的常用快捷键2. Hadoop集群部署问题汇总 1. Linux的常用快捷键 复制:CtrlshiftC 粘贴:CtrlshiftV TAB:补全命令 编写输入:i 退出编写:esc 保存并退出:shift: 2. Hadoop集群部署问…

mariadb 错误日志中报错:Incorrect definition of table mysql.column_stats:

数据库错误日志出现此错误原因是因为系统表中字段类型或者数据结构有变动导致,一般是因为升级数据库版本后未同步升级系统表结构。 解决方法: 1.如果错误日志过大,直接删除。 2.执行 mysql_upgrade -u[用户名] -p[密码];,这一步…

Redis-数据过期策略

数据过期策略 惰性删除策略优点:对cpu比较友好,在用到该key的时候才去进行判断,对于很多用不到key不用浪费时间去检查是否过期缺点:对内存不友好,如果一个key过期了,但是我们又一直没有用到该key&#xff0…

一张图搞定英文星期、月份、季节总也搞不定的星期,月份,季节,一张图搞定,还有必用的常见搭配,再也不担心用错介词了~

一张图搞定英文星期、月份、季节 总也搞不定的星期,月份,季节,一张图搞定,还有必用的常见搭配,再也不担心用错介词了~

使用vite+npm封装组件库并发布到npm仓库

组件库背景:使用elementplusvue封装了一个通过表单组件。通过JSX对el-form下的el-input和el-button等表单进行统一封装,最后达到,通过数据即可一键生成页面表单的功能。 1.使用vite创建vue项目 npm create vitelatest elementplus-auto-form…

Anaconda的下载与安装

1、下载 Anaconda 这里不管是集成显卡还是独立显卡,第一步先安装Anaconda。 网址:https://mirrors.bfsu.edu.cn/anaconda/archive/ ,这里给出的是镜像源,也可以去官网下载(下载哪个版本都行)。 2、下载完成…

ST表(RMQ问题)

ST表能够O(1)地解决区间[l,r]之间最值问题 1.建表&#xff0c;首先明白ST[i][j]&#xff0c;表示的是区间[i, i(1<<j)-1]的最值&#xff0c;区间大小为2^j。首先初始化ST[i][0]a[i]。 void init&#xff08;&#xff09;{for(int i1; i<n; i){ST[i][0]a[i];} } 因为…

【Python_PyQtGraph 学习笔记(八)】基于PyQtGraph将X轴坐标设置为系统时间

【Python_PyQtGraph 学习笔记(八)】基于PyQtGraph将X轴坐标设置为系统时间 前言正文1、获取plotItem的bottom轴对象2、设置刻度值,即获取时间3、刻度值与显示数值绑定4、设置bottom轴的刻度数值显示前言 基于PySide2、PyQtGraph和PySide2动态绘图,将X轴坐标设置为系统事件…

几道web题目

总结几道国庆写的web题目 [ACTF2020 新生赛]Include1 点进去发现就一个flag.php,源代码和抓包都没拿到好东西 结合题目猜是文件包含&#xff0c;构建payload ?filephp://filter/readconvert.base64-encode/resourceflag.php 得到base64编码过的flag&#xff0c;解码即可 此题…

南美巴西市场最全分析开发攻略,收藏一篇就够了

巴西位于南美洲东部&#xff0c;是南美洲资源最丰富&#xff0c;经济活力和经济实力最强的国家。巴西作为拉丁美洲的出口大国&#xff0c;一直是一个比较有潜力的市场&#xff0c;亦是我国外贸公司和独立外贸人集群的地方。中国长期是巴西主要的合作伙伴&#xff0c;2022年占巴…

React组件

一、React组件 函数组件 // 函数组件 // 组件的名称必须首字母大写 // 函数组件必须有返回值 如果不需要渲染任何内容&#xff0c;则返回 null function HelloFn () {return <div>这是我的第一个函数组件!</div> }// 定义类组件 function App () {return (<di…

解决方案:AI赋能工业生产3.0,从工业“制造”到“智造”

视频监控技术是一种既成熟又广泛应用于工业制造领域的先进技术。它可以通过安装各种摄像头和传感器来监测整个生产流程&#xff0c;包括原材料的采购、加工、装配和物流等环节&#xff0c;从而实现对生产过程的实时监控和管理&#xff0c;以及对异常事件的及时预警和响应。 在…

安全防御—密码学

1. 什么是APT&#xff1f; APT&#xff08;Advanced Persistent Threat&#xff09;是指高级持续性威胁&#xff0c;本质是针对性攻击。 利用先进的攻击手段对特定目标进行长期持续性网络攻击的攻击形式&#xff0c;APT攻击的原理相对于其他攻击形式更为高级和先进&#xff0c;…

matlab数学建模方法与实践 笔记汇总

matlab数学建模方法与实践 笔记汇总 写在最前面笔记1&#xff1a;快速入门1.导入数据2.数据探索3.多项式拟合4.发布功能5.数据类型6、全部代码 笔记2&#xff1a;数据的准备1.数据的读取与写入excel、txt读图读视频 2.数据预处理缺失值噪声过滤数据归约数据变换 3.数据统计4.数…

除静电离子风蛇的工作原理及应用

静电离子风蛇是一种通过产生大量负离子来中和空气中的静电荷的设备。它们通常用于防止静电对电子设备、印刷机、加工机等工业设备造成损害。 静电离子风蛇的工作原理是通过电离器将空气中的氧气分子转化为氧离子&#xff0c;然后将这些氧离子释放到空气中。这些氧离子会与空气…

适老产品反“坑老”,美的智能化家电是否能坐稳银发经济顺风车?

随着我国老龄化程度不断加深&#xff0c;银发经济崛起早已成为不争的共识。早在2013年&#xff0c;《中国老年人家电需求研究报告》就曾预测&#xff0c;仅在城镇空巢老年人家庭&#xff0c;每年产生的老年家电需求规模就超过600亿元&#xff0c;加上非空巢老人的需求&#xff…

Spring注册Bean系列--方法5:@Import+ImportBeanDefinitionRegistrar

原文网址&#xff1a;Spring注册Bean系列--方法5&#xff1a;ImportImportBeanDefinitionRegistrar_IT利刃出鞘的博客-CSDN博客 简介 本文介绍Spring注册Bean的方法&#xff1a;ImportImportBeanDefinitionRegistrar。 注册Bean的方法我写了一个系列&#xff0c;见&#xff…

MySQL基础-事务

目录 1.事务简介 2.事务的操作 2.1 实验需要用到的数据 2.2 完成转账操作 修改事务执行方式 手动开启事务的方式 3.事务的四大特性 4.并发事务问题 5.事务隔离级别 5.1 事务隔离级别分类 5.2 查看事务隔离级别 5.3 设置事务隔离级别 1.事务简介 事务是一组操作的集合…

Android---GC回收机制与分代回收策略

目录 GC 回收机制 垃圾回收(Garbage Collection, GC) 垃圾回收算法 JVM 分代回收策略 1. 新生代 2. 老年代 GC Log 分析 引用 GC 回收机制 垃圾回收(Garbage Collection, GC) 垃圾就是内存中已经没有用的对象&#xff0c;JVM 中的垃圾回收器(Garbage Collector)会自…

[CISCN2019 华北赛区 Day1 Web5]CyberPunk 二次报错注入

buu上 做点 首先就是打开环境 开始信息收集 发现源代码中存在?file 提示我们多半是包含 我原本去试了试 ../../etc/passwd 失败了 直接伪协议上吧 php://filter/readconvert.base64-encode/resourceindex.phpconfirm.phpsearch.phpchange.phpdelete.php 我们通过伪协议全…