【AI之路】使用RWKV-Runner启动大模型,彻底实现大模型自由

文章目录

  • 前言
  • 一、RWKV-Runner是什么?
    • RWKV-Runner是一个大语言模型的启动平台
    • RWKV-Runner官方功能介绍
  • 二、使用步骤
    • 1. 下载文件
  • 总结


前言

提示:这里可以添加本文要记录的大概内容:

ChatGPT的横空出世,打开了AI的大门,但是国内访问ChatGPT障碍颇多,那么有没有适合我们国人的大模型呢?答案是肯定的。

在国人的聪明和勤劳下,这些都不是事儿。

今天我们就介绍一款国人开发的AI平台,关键是可以部署在本地,还可以远程访问。最关键的是免费!!!

对于文章、小说的宝宝们简直是福音!


一、RWKV-Runner是什么?

RWKV-Runner是一个大语言模型的启动平台

它会全自动为你处理一切,你只需要一个仅仅几MB的可执行程序。作者充分考虑了使用者的想法,以傻瓜式的方式即可启动该平台。

Gitee 地址:https://gitee.com/josc146/RWKV-Runner
GitHub地址:https://github.com/josStorer/RWKV-Runner

RWKV-Runner官方功能介绍

RWKV模型管理,一键启动
前后端分离,如果你不想使用客户端,也允许单独部署前端服务,或后端推理服务,或具有WebUI的后端推理服务。 简明服务部署示例 | 服务器部署示例
与OpenAI API兼容,一切ChatGPT客户端,都是RWKV客户端。启动模型后,打开 http://127.0.0.1:8000/docs 查看API文档
全自动依赖安装,你只需要一个轻巧的可执行程序
预设多级显存配置,几乎在各种电脑上工作良好。通过配置页面切换Strategy到WebGPU,还可以在AMD,Intel等显卡上运行
自带用户友好的聊天,续写,作曲交互页面。支持聊天预设,附件上传,MIDI硬件输入及音轨编辑。 预览 | MIDI硬件输入
内置WebUI选项,一键启动Web服务,共享硬件资源
易于理解和操作的参数配置,及各类操作引导提示
内置模型转换工具
内置下载管理和远程模型检视
内置一键LoRA微调 (仅限Windows)
也可用作 OpenAI ChatGPT 和 GPT Playground 客户端 (在设置内填写API URL和API Key)
多语言本地化
主题切换
自动更新

二、使用步骤

1. 下载文件

下载懒人包:
https://pan.baidu.com/s/1zdzZ_a0uM3gDqi6pXIZVAA?pwd=1111

将下载后的文件放到:D:\ProgramData\RWKV。这里放到D盘目录是因为运行文件后会自动生成很多文件,而且模型一般比较大,放在C盘容易造成空间问题。

运行后RWKV-Runner_windows_x64.exe后,目录内容生成如下:
在这里插入图片描述
运行后界面如下:
在这里插入图片描述
看到这个界面,是不是很兴奋,别着急。不信你点击“运行”试试。

在这里插入图片描述
哦,原来是没有Python运行环境(虽然本地允许有运行环境,但没有配置前,那都不算数。为方便,也为与其它环境隔离,我们单独建立Python运行环境,这里的版本是3.10),点下载安装Python。

在这里插入图片描述
安装Python,还是不行,纳尼?还去依赖库,是啊,哪个Python不是一堆积木拼出来的。继续点安装。
在这里插入图片描述
会弹出一个cmd命令窗口,可以看到正在下载各种库,这个不用管,让系统自动下载就好,安装完第三方库,窗口会自动关闭。
在这里插入图片描述
再次点击运行,又提示模型文件不存在!对头,这里虽然选择了默认的模型:GPU-2G-1B5-World,但模型文件我们并没有下载。

这里我们切换到“模型”页面,国内下载记着勾选“使用Hugging Face镜像源”,这样下载会快一些。
在这里插入图片描述

注:如果觉得这个下载也慢,也可以借用笔者的终极大法,参见之前文章进行下载。
【AI之路】使用huggingface_hub通过huggingface镜像站hf-mirror.com下载大模型(附代码,实现大模型自由)
在这里插入图片描述
下载完大模型,再次点击运行,又报错。因为笔者这里没有使用英伟达的GPU,所以自然没有NVIDIA驱动,也没有CUDA可以进行加速,那就不能玩了吗?其实还是可以的。按如下修改即可。
在这里插入图片描述
进入配置页面,选择刚才下载的模型,将Strategy切换为CPU即可,如下图:
在这里插入图片描述
切换后,还需要对模型进行转化才可以使用。默认精度int8,选择fp16,之后转换为GGML格式。在models目录就会看到除了刚才下载的模型,又多了一个带fp16的bin文件。
在这里插入图片描述
再次返回主界面,进入聊天,即可开启对话模式。如下:

在这里插入图片描述
在下面的对话框输入消息,并点击右侧的向上箭头发送给大模型,就可以看到大模型已经开始运行,并反馈结果了。

另外,这里我们可以调节右侧的参数,调整大模型的生成效果。这个UI作者也是非常用心的。把鼠标放在参数上就会显示参数的功用。
参数“最大响应Token”最重要,决定了一次对话生成内容的长度。可根据自己需要修改。GPU的话,可以放到最大,CPU放到最大就看你的CPU性能了。


总结

通过以上安装测试,终于完成RWKV大模型的加载,这样我们就可以随心所欲的生成需要的内容了。再也不用操心token不够用的问题了。不过大模型还是需要调教的,在电脑性能、大模型产能和效果之间取一个平衡才是最好。

另外,细心的小伙伴已经发现,这个大模型启动平台还有个web访问地址:http://127.0.0.1:8000/#/。我们直接打开地址可以看到如客户端 一般模样的UI。甚至还可以通过其它平台,使用这个界面调用。如果加上ddns还可以实现远程的访问。此为后话,有需要的小伙伴可以自行研究。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/683551.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android---Jetpack Compose学习005

动画 1. 简单值动画 示例:背景颜色在紫色和绿色之间,以动画形式切换。使用 animateColorAsState() val backgroundColor by animateColorAsState(if (tabPage TabPage.Home) Purple100 else Green300) 该句代码中,有一个 backgroundColo…

HTTP基本概念-HTTP缓存技术

大家好我是苏麟 , 今天说说HTTP缓存技术 . 资料来源 : 小林coding 小林官方网站 : 小林coding (xiaolincoding.com) HTTP缓存技术 HTTP 缓存有哪些实现方式? 对于一些具有重复性的 HTTP 请求,比如每次请求得到的数据都一样的,我们可以把这对「请求-响…

实验5-5 使用函数求素数和

本题要求实现一个判断素数的简单函数、以及利用该函数计算给定区间内素数和的函数。 素数就是只能被1和自身整除的正整数。注意:1不是素数,2是素数。 函数接口定义: int prime( int p ); int PrimeSum( int m, int n ); 其中函数prime当用…

【C语言】指针练习篇(上),深入理解指针---指针和数组练习题和sizeof,strlen的对比【图文讲解,详细解答】

欢迎来CILMY23的博客喔,本期系列为【C语言】指针练习篇(上),深入理解指针---指针数组练习题和sizeof,strlen的对比【图文讲解,详细解答】,图文讲解指针和数组练习题,带大家更深刻理解指针的应用…

AtCoder ABC 328G 状态压缩 DP + 复杂度分析

题意 传送门 AtCoder ABC 328G Cut and Reorder 题解 假设答案对应的 a a a 下标 0 , 1 , ⋯ , n − 1 0,1,\cdots,n - 1 0,1,⋯,n−1 经过操作 1 变换为排列 p 0 , p 1 , ⋯ , p n − 1 p_{0},p_{1},\cdots,p_{n-1} p0​,p1​,⋯,pn−1​,则对于满足 p i −…

C++ for循环:求任意整数的因数

#include <iostream>using namespace std;int main() {int i 0;int j 0;cout << "请输入任意整数&#xff1a;" << endl;cin >> j;cout << j << "的因数有&#xff1a;";for (i 1; i < j; i)if(j%i 0)cout <…

iTop-4412 裸机程序(二十二)- RTC时钟

目录 0.源码1. RTC2. iTop4412 中的 RTC使用的相关寄存器3. BCD编码4. 关键源码 0.源码 GitHub&#xff1a;https://github.com/Kilento/4412NoOS 1. RTC RTC是实时时钟&#xff08;Real Time Clock&#xff09;的缩写&#xff0c;是一种用于计算机系统的硬件设备&#xff0…

Matplotlib自定义辅助函数 (一):让你的图表大放异彩!

Matplotlib美化秘诀&#xff1a;自定义辅助函数&#xff0c;让你的图表大放异彩&#xff01; 利用Matplotlib进行数据可视化示例 &#x1f335;文章目录&#x1f335; &#x1f333;一、创建自定义样式函数&#x1f333;&#x1f333;二、创建自定义颜色映射&#x1f333;&…

Momentum2

攻击机 192.168.223.128 目标机 192.168.223.147 主机发现 nmap -sP 192.168.223.0/24 端口扫描 nmap -sV -A -p- 192.168.223.147 开启了22 80 端口 看一下web界面 源码&#xff0c;robots.txt ,url都观察了一下好像没什么有用信息 扫一下目录 gobuster dir -u http:…

实现JNDI

实现JNDI 问题陈述 Smart Software Developer Ltd.想要开发一款Web应用程序,它使用servlt基于雇员ID显示雇员信息,雇员ID由用户通过HTML用户界面传递。雇员详细信息存储在Employee_Master表中。另外,Web应用程序应显示网站被访问的次数。 解决方案 要解决上述问题,需要执…

重返信仰之源:树莓派的奇妙历程

众所周知&#xff0c;树莓派在十岁生日的庆典上&#xff0c;已经蜕变为全球首屈一指的微型电脑品牌&#xff0c;为全球的数千万开发者提供了离奇的可能性。充满乐趣和惊喜的名字——“树莓派”&#xff0c;取自各种水果的名字&#xff0c;回顾我们可以找到苹果&#xff0c;杏子…

Electron实战之入门

一、Electron简介 1.1 Electron是什么 Electron是一个使用 JavaScript、HTML 和 CSS 构建桌面应用程序的技术框架。 嵌入 Chromium 和 Node.js 到 二进制的 Electron 允许开发者使用 JavaScript 代码来创建允许在Windows、macOS和Linux等平台。 1.2 发展历程 2013 年的时候…

Linux中sigaction函数和SIGCHLD信号的使用

sigaction函数&#xff1a; 函数说明&#xff1a;注册一个信号处理函数 函数原型&#xff1a;int sigaction(int signum, const struct sigaction *act, struct sigaction *oldact); 函数参数&#xff1a; signum:捕捉的信号act:传入参数&#xff0c;…

Verilog不支持浮点数以及错误事例

Verilog 是一种硬件描述语言&#xff08;HDL&#xff09;&#xff0c;用于描述和设计数字电路和系统。它的主要目的是描述硬件行为和结构&#xff0c;因此不直接支持浮点数。Verilog 主要用于设计数字逻辑电路、处理器和其他数字系统&#xff0c;它的数据类型主要是位向量和整数…

C++ 特殊类的实现

一、请设计一个类&#xff0c;不能被拷贝 拷贝只会放生在两个场景中&#xff1a;拷贝构造函数以及赋值运算符重载&#xff0c;因此想要让一个类禁止拷贝&#xff0c;只需让该类不能调用拷贝构造函数以及赋值运算符重载即可。 在C98中&#xff1a;将拷贝构造函数与赋值运算符重载…

【嵌入式移植】6、U-Boot源码分析3—make

U-Boot源码分析3—make all 从【嵌入式移植】4、U-Boot源码分析1—Makefile文章中可知执行make命令的时候&#xff0c;没有指定目标则使用默认目标PHONY&#xff0c;PHONY依赖项为_all all scripts_basic outputmakefile scripts dtbs。 all Makefile中第129行指定默认目标PH…

十大免费 Word 转 PDF 转换器工具榜单

将 Word 转换为 PDF 格式可以帮助您在不同操作系统之间轻松共享文件。无论您是发送重要备忘录、为客户开具发票、以一致的格式维护客户记录等等&#xff0c;PDF 都属于最流行且安全的文件格式。当您将 Word 文档转换为 PDF 格式时&#xff0c;您的项目会自动优化且更加紧凑。可…

腾讯云4核8G服务器够用吗?能支持多少人?

腾讯云4核8G服务器支持多少人在线访问&#xff1f;支持25人同时访问。实际上程序效率不同支持人数在线人数不同&#xff0c;公网带宽也是影响4核8G服务器并发数的一大因素&#xff0c;假设公网带宽太小&#xff0c;流量直接卡在入口&#xff0c;4核8G配置的CPU内存也会造成计算…

【数据统计】A股分红率排行榜2023

截至2023年底的&#xff0c;过去一年有分红的&#xff0c;分红率&#xff08;股息率&#xff09;排行榜。这里的分红率是股息率&#xff0c;即每股现金分红金额/年底的股价。比如000517荣安地产&#xff0c;2023年的分红方案是每10股3.2元&#xff0c;该股在2023年12月29日的收…

ELAdmin 部署

后端部署 按需修改 application-prod.yml 例如验证码方式、登录状态到期时间等等。 修改完成后打好 Jar 包 执行完成后会生成最终可执行的 jar。JPA版本是 2.6&#xff0c;MyBatis 版本是 1.1。 启动命令 nohup java -jar eladmin-system-2.6.jar --spring.profiles.active…