基于北京迅为iTOP-RK3588大语言模型部署测试

人工智能(AI)领域中的大模型(Large Model)逐渐成为研究的热点。大模型,顾名思义,是指拥有海量参数和高度复杂结构的深度学习模型。它的出现,不仅推动了AI技术的突破,更为各行各业带来了革命性的变化。


RK3588是瑞芯微推出的新一代旗舰级高端处理器,采用8nm工艺设计,搭载四核A76+四核A55的八核CPU和Arm高性能GPU,内置6T算力的NPU。能够高效地处理AI算法和模型,为大模型的运行提供了强大的硬件支持。

在北京迅为推出的搭载了RK3588处理器的iTOP-RK3588开发板上,使用RKLLM 工具套件支持在iTOP-RK3588平台上进行LLM(大型语言模型)模型的转换和部署。它与Hugging Face模型架构兼容(Hugging Face是广泛用于自然语言处理任务的模型架构。目前,该系统支持以下模型:LLaMA、Qwen、Qwen2和Phi-2。支持量化技术,即使用w8a8(8位权重,8位激活)和w4a16(4位权重,16位激活)精度进行模型量化。这可以在目标平台上更高效地存储和计算模型,减小内存占用。

iTOP-RK3588开发板体验大模型

为了让用户更快速的体验RKLLM ,北京迅为已经对Linux内核源码中的NPU版本进行了升级,升级到了最新的0.9.6版本,具体如下所示:

默认以将RKLLM动态库集成在了Ubuntu和Debian系统中,用户可以直接拷贝转换完成的RKLLM大预言模型和推理程序进行测试。详细说明请见NPU手册中RKLLM模型转换和测试相关步骤

iTOP-RK3588开发板NPU使用手册》v1.1教程目录

第1章 你好!NPU

1.1 NPU的诞生!

1.2 初识RKNPU

第2章 准备RKNPU开发环境

2.1 开发环境

2.1 软件架构

2.2 SDK说明

第3章 让NPU跑起来

3.1 在Linux系统中使用NPU

3.1.1 设置交叉编译器

3.1.2 修改编译工具路径

3.1.3 更新RKNN模型

3.1.4 编译demo

3.1.5 开发板运行demo

3.2 在Android系统中使用NPU

3.2.1下载编译所需工具

3.2.2 修改编译工具路径

3.2.3 更新RKNN模型

3.2.4 编译demo

3.2.5 开发板运行demo

第4章 体验RKNN_DEMO

4.1 rknn_ssd_demo体验

4.2 rkn_api_demo体验

4.3 rknn_multiple_input_demo体验

第5章 模型转换

5.1 RKNN-Toolkit2 介绍

5.2 RKNN-Toolkit2环境搭建

5.2.1 安装Miniconda

5.2.2 创建RKNN虚拟环境

5.2.3 安装pycharm

5.2.4 配置pycharm

5.3 RKNN-Toolkit2工具的使用

5.3.1 模型运行在模拟器

5.3.2 模型运行在RK3588开发板

第6章 其他模型转换

6.1 使用tensorflow框架

6.2 使用caffe框架

6.3 使用tflite框架

6.4 使用onnx框架

6.5 使用darknet框架

6.6 使用pytorch框架

第 7章 使用RKNN-Toolkit-lite2

7.1 主要功能说明

7.2 环境搭建步骤

7.2.1 安装Miniconda

7.2.2 创建RKNN虚拟环境

7.2.3 安装RKNN-ToolkitLite 2软件包

7.2.4 安装opencv

7.3 运行测试程序

第8章 RKLLM大预言模型测试

8.1 RKLLM-Toolkit介绍

8.2 RKLLM-Toolkit环境搭建

8.2.1 安装Miniconda

8.2.2 创建RKLLM虚拟环境

8.3 大语言模型转换

8.4 推理程序编译

8.5 开发板运行测试

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/3168.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

简单仓库管理系统(增删改查功能)

前端 <!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta name"viewport" content"widthdevice-width, initial-scale1.0"> <title>Document</title> …

职场受挫,没有晋升机会怎么办?

和其他人比较没有意义。 每个人的基础不一样&#xff0c;经历不一样&#xff0c;学习方法不一样&#xff0c;无谓的比较只会徒增烦恼。 我们能做的就是&#xff0c;深入了解自己&#xff0c;做自己&#xff0c;找到适合自己的方法&#xff0c;从而快速提升自己。做自己&#…

Pow(x,n)——力扣

python&#xff08;快速幂&#xff09; 50. Pow(x, n) 已解答 中等 相关标签 相关企业 实现 pow(x, n) &#xff0c;即计算 x 的整数 n 次幂函数&#xff08;即&#xff0c;xn &#xff09;。 示例 1&#xff1a; 输入&#xff1a;x 2.00000, n 10 输出&#xff1a;10…

若依ruoyi-vue部署在域名的子目录下应该如何配置

本文相关视频教程&#xff1a;https://www.bilibili.com/video/BV1Fi4y1q74p?p46&vd_source2894aa0e46c09ba98269f266128b6c6e 有些特殊情况需要部署到子路径下&#xff0c;例如&#xff1a;https://www.ruoyi.vip/admin&#xff0c;以下是若依ruoyi-vue部署在域名的子目…

【C++】——类和对象(构造函数,析构函数,拷贝构造函数,赋值运算符重载)

创作不易&#xff0c;多多支持&#xff01; 前言 相信你对这几个知识点有点混淆&#xff0c;相信看完以后&#xff0c;你会对此有一个清晰的认识。 一 类的6个默认成员函数 如果我们写一个类&#xff0c;但是类里面什么都没有&#xff0c;我们称之为空类。 其实这个类也不…

Xtrabackup导致主从延时问题

背景问题 公司数据库备份采用Xtrabackup&#xff0c; 备份期间会导致数据库实例产生主从延时&#xff0c;增加数据库告警数量。而且数据库主从延时会影响数据访问的准确性&#xff0c;延时期间如果主库发生故障&#xff0c;会有数据丢失的风险&#xff1b;延时也可能影响抽数等…

DC-DC电源芯片规格书上的各种参数详解

1.输出电压精确度 输出电压的精确度,也被称为设定点精度,它描述了输出电压的允许误差。该参数通常是在常温,满载和额定输入电压的条件下测得的,它是这样定义的: 输出电压之所以产生误差,是因为元器件本身存在误差,特别是输出端的分压电阻,它将输出电压降低后比PWM比较…

Mac装虚拟机好不好 Mac装虚拟机和装Windows系统一样吗 PD虚拟机

随着跨系统操作的不断发展&#xff0c;虚拟机技术在生产力领域扮演着越来越重要的角色。Mac作为一款主流的操作系统&#xff0c;也有着运行虚拟机的能力。接下来给大家介绍Mac装虚拟机好不好&#xff0c;Mac装虚拟机和装Windows系统一样吗的具体内容。 一、Mac装虚拟机好不好 …

UNIX环境高级编程->高级IO(概念篇)

UINX环境 常见的操作系统比如Linux 和 MacOS都是基于UNIX的。它们都继承了UNIX的许多特性和设计理念。因此&#xff0c;它们的高级I/O技术确实是建立在UNIX基础之上的。Linux和macOS都提供了丰富的高级I/O功能和API&#xff0c;利用了UNIX系统调用和原则。这些功能包括非阻塞I…

【Linux】自定义协议——实现网络序列化和反序列化

欢迎来到Cefler的博客&#x1f601; &#x1f54c;博客主页&#xff1a;折纸花满衣 &#x1f3e0;个人专栏&#xff1a;题目解析 &#x1f30e;推荐文章&#xff1a;承接上文内容【Linux】应用层协议序列化和反序列化 目录 &#x1f449;&#x1f3fb;代码实现如下Calculate.hp…

C语言-联合体基本概念

联合体的外在形式跟结构体非常类似&#xff0c;但它们有一个本质的区别&#xff1a;结构体中的各个成员是各自独立的&#xff0c;而联合体中的各个成员却共用同一块内存&#xff0c;因此联合体也称为共用体。 联合体内部成员的这种特殊的“堆叠”效果&#xff0c;使得联合体有如…

HarmonyOS —— 跳转应用详情页

一、跳转应用详情页 鸿蒙跳转应用详情页功能&#xff0c;使用场景可以是引导用户进入应用详情页授予应用权限。 gotoAppDetail(context:common.UIAbilityContext){let bundleName bundleManager.getBundleInfoForSelfSync(bundleManager.BundleFlag.GET_BUNDLE_INFO_DEFAULT)…

使用Dokcer中的Mysql导入sql文件

使用docker中的mysql导入sql文件 1、将文件复制到容器内2、进入到容器mysql中3、导入sql文件 1、将文件复制到容器内 docker cp test.sql mysql:/test.sql2、进入到容器mysql中 docker exec -it mysql /bin/bash3、导入sql文件 mysql -u your_username -p your_database_name…

Ollama完成本地模型的运行

Ollama完成本地模型的运行 llama 3 8b很多pc都可以run起来,可以用这个练练手 简介 Ollama 是一个开源的大型语言模型(LLM)服务工具,它允许用户在本地运行和使用各种大型语言模型。Ollama 提供了一个命令行界面,支持多种流行的模型,如 Llama 3、Qwen 1.5、Mixtral、Gemma…

MapMagic 2 Biomes and Functions

MapMagic 2(免费)世界生成器官方模块。支持基于遮罩混合几个图形,从而可以在无限地形上混合不同的生物群落。也随附函数节点,从而可以在子图中执行复杂的生成过程。将它们视作含有输入和输出连接器的生物群落。请注意,必须使用 MapMagic 2 的现有安装才能使用该模块。 下…

(一)JVM实战——jvm的组成部分详解

前言 本节内容是关于java虚拟机JVM组成部分的介绍&#xff0c;通过其组成架构图了解JVM的主要组成部分。 正文 ClassFile&#xff1a;字节码文件 - javac&#xff1a;javac前端编译器将源代码编译成符合jvm规范的.class文件&#xff0c;即字节码文件 - class文件的结构组成&a…

【c++】cpp类的友元函数和友元类(friend关键字)

&#xff08;1&#xff09;友元函数 全局函数&#xff1a;void setA1(A1 *p, int a1); 在类内部声明为友元函数&#xff1a;friend void setA1(A1 *p, int a1); 友元函数的作用&#xff1a;在类的内部将一个外部函数声明一个友元函数后&#xff0c;该外部函数调用该类对象时…

数据变更捕获 (CDC):PostgreSQL 与 ClickHouse - 第一部分

本文字数&#xff1a;13442&#xff1b;估计阅读时间&#xff1a;34 分钟 审校&#xff1a;庄晓东&#xff08;魏庄&#xff09; 本文在公众号【ClickHouseInc】首发 简介 在之前的文章中&#xff0c;我们已经讨论了OLTP数据库&#xff08;例如Postgres&#xff09;和OLAP数据…

【go零基础】go-zero从零基础学习到实战教程 - 1项目表设计

既然是0基础&#xff0c;现在来写下设计思路&#xff0c;因为go-zero是个微服务架构&#xff0c;所以&#xff0c;哪怕是0基础&#xff0c;也从两个服务模块开始写起。 我们的目标是&#xff1a;最小可用微服务架构最佳实践&#xff01; 好了&#xff0c;饼画完了。 第0部分写到…

Java23种设计模式-结构型模式之装饰器模式

装饰器模式&#xff08;Decorator Pattern&#xff09;&#xff1a;动态地给一个对象添加一些额外的职责。这种模式提供了一种灵活的方式来扩展对象的功能&#xff0c;而不需要修改原始类的代码 通常有以下角色&#xff1a; 角色1.抽象组件&#xff08;Component&#xff09;&a…