橙芯创想：香橙派AIPRO解锁升腾LLM与Stable Diffusion的创意密码

文章目录

    • 引言
  • 一. 香橙派AI PRO配置以及展示
    • 优秀的扩展能力
    • 实物展示
  • 二、Ascend-LLM模型部署
    • 开机
    • xshell连接香橙派
    • 实战运行部署
    • 运行结果分析
    • 开发版表现
  • 三、Stable Diffusion
    • 文生图
    • 性能表现
  • 四、体验总结
    • 性能
    • 噪音
    • 便捷性

引言

在科技的浪潮中，一场融合智慧与创意的盛会正在启幕，《香橙派AIPRO解锁升腾LLM与Stable Diffusion的创意密码》引领你步入一个全新的维度。握住香橙派AI Pro开发板，如同掌握了一把通往未来的钥匙，不仅驾驭着ChatCLM模型，更将Stable Diffusion的力量纳入掌中，从零开始编织属于自己的智能织锦。

一. 香橙派AI PRO配置以及展示

在这里插入图片描述

优秀的扩展能力

​ 香橙派AI Pro，作为一款高性能的边缘计算平台，展现出非凡的扩展能力。它配备了丰富的I/O接口，包括但不限于USB、HDMI、网络接口以及GPIO端口，支持多种传感器、显示器和外部存储设备的直接连接。这种高度的兼容性和灵活性，使得开发者能够根据项目需求轻松扩展硬件配置，无论是构建复杂的机器人系统、智能物联网网关，还是高性能的边缘计算服务器，香橙派AI Pro都能提供坚实的技术支撑。

在这里插入图片描述

实物展示

在这里插入图片描述

在这里插入图片描述

二、Ascend-LLM模型部署

开机

香橙派AI Pro内置镜像，如果没有对高版本镜像的需求可以即插即用。

需要显示器、键盘、鼠标各一份。

默认壁纸还是非常漂亮的。默认密码：Mind@123

在这里插入图片描述

xshell连接香橙派

连接网络之后通过ifconfig查看ip地址。

在这里插入图片描述

通过ip+账号即可通过shell工具实现远程连接。我们选择xshell作为shell工具。

实战运行部署

我们选择南京大学开源的一套基于香橙派 AIpro部署的Tiny-Llama语言模型。充分释放性能。

gitee地址：[ChatGLM3 ManualReset: chatglm3基于香橙派AIPro部署 (gitee.com)](https://gitee.com/wan-zutao/chatglm3-manual-reset)

在这里插入图片描述

本地通过网络下载zip包通过xshell导入香橙派即可。

unzip 命令可以解压文件夹。

后面发现镜像自带git，无需下载，直使用git命名下载。

git clone https://gitee.com/wan-zutao/chatglm3-manual-reset.git

在这里插入图片描述

cd inference进入inference目录

bash downlado.sh 下载模型，大概11GB，网速快的几分钟即可。

在这里插入图片描述

python3 main.py 启动程序

在这里插入图片描述

从打印日志找到访问的url
在这里插入图片描述

可以非常愉快的和 Ascend-llm交互了。
在这里插入图片描述
在这里插入图片描述

通过top命名查看系统情况

  • CPU使用率：当前为29.1%，4.1%用于用户空间进程，4.1%用于内核空间，64.1%处于空闲状态。
  • 内存使用情况：总物理内存大小是7543.6 MiB，已用5287.6 MiB，剩余1586.9 MiB可用，交换内存总量为2048.0 MiB，已使用163.2 MiB，剩余1884.8 MiB未被使用。

在这里插入图片描述

运行结果分析

Ascend-LLM
部署过程中，香橙派AIPRO的兼容性和易用性得到了充分验证，使得模型能够迅速在边缘设备上实现落地。得益于其内置的NPU加速单元，Ascend-LLM的运行效率得到了显著提升，即使在资源受限的环境中也能保持高效的推理速度。

模型运行效率
得益于内置的NPU加速单元，Ascend-LLM模型在香橙派AI Pro上的运行效率显著提升，即使在资源受限的边缘设备上，也能保持高效的推理速度。

资源消耗
通过top命令监控系统状态，显示CPU使用率为29.1%，其中4.1%用于用户空间进程，4.1%用于内核空间，而64.1%处于空闲状态。内存方面，总物理内存为7543.6MiB，已用5287.6MiB，剩余1586.9MiB可用，交换内存总量为2048.0MiB，已使用163.2MiB，剩余1884.8MiB未被使用。

开发版表现

负载管理
香橙派AI Pro在处理模型时，尽管CPU和内存有一定的使用率，但整体仍有较大的余量，表明其具备良好的资源管理能力，能够在运行复杂模型的同时保持系统的稳定运行。

散热性能
在启动初期，大约10秒钟会有轻微的噪音，这是预热阶段正常现象。之后，开发板运行时几乎无声，风扇运行平稳，没有明显的噪音波动。长时间使用后，散热片温度适中，证明散热设计有效，有助于维持设备长期稳定运行。

三、Stable Diffusion

另外使用香橙派AIPRO部署了Stable Diffusion，来看看算力表现如何。

文生图

文生图是指通过输入文本描述，让Stable Diffusion模型生成与之匹配的图像。这个过程涉及到模型的推理和图像的生成。用户可以通过在工作区输入文本，然后在调参区调整参数，来生成符合自己需求的图像。

在这里插入图片描述 在这里插入图片描述

性能表现

Stable Diffusion
​对于Stable Diffusion这样的模型，通常在GPU或专用AI加速器上运行，其处理时间可以从几秒到几十秒不等，具体取决于上述因素。由于Stable Diffusion模型较为复杂，即使在高端GPU上，生成一张图像也可能需要几秒到十几秒的时间。但是，由于香橙派AI Pro的AI算力达到了20TOPS，它能够较快地处理此类任务。香橙派AI Pro的AI核心可以加速深度学习任务，但在处理复杂模型时可能不会像高端GPU那样快。在优化良好的条件下，使用香橙派AI Pro开发板生成一张图像的时间可能会在10秒到30秒之间，但这只是一个估计范围，实际时间可能会有所不同，具体取决于模型的具体配置和优化情况。

四、体验总结

性能

配置不输我自己的电脑，在跑AI模型的时候更是拉开了一大段差距。

硬件规格参数

CPU4核64位处理器+ AI处理器 1个DaVinciV300 AI core，主频1.224GHz 4个TAISHANV200M处理器核，主频1.6GHz
AI算力20TOPS算力
内存LPDDR4X：12GB/24GB（可选），速率：4266Mbps
存储·支持eMMC模块：32GB/64GB/256GB ·SATA/NVME SSD（M.2接口2280） ·SPI Flash: 32MB ·TF插槽
WIFI+蓝牙Wi-Fi 5双频+BT 4.2，BLE
以太网收发器双2.5G以太网
显示·2 * HDMI TX 2.0输出，最大支持4K@60FPS ·1 * MIPI DSI 4-Lane 输出
摄像头2 * MIPI CSI 4-Lane摄像头接口
USB3 * USB 3.0 HOST 1 * USB Type-C 3.0 HOST/Device（兼容USB2.0） 1 * Type-C串口打印功能
音频3.5mm耳机孔音频输入/输出
按键1开机键、1RESET键、1启动拨动键、1BOOT键
40PIN40PIN 功能扩展接口，支持以下接口类型： GPIO、UART、I2C、SPI、PWM
风扇风扇接口*1
预留接口预留2PIN电池接口
电源Type-C PD 20V IN ，标准65W
支持的操作系统Ubuntu、openEuler
产品尺寸115.23mm83.26mm1.6mm
重量120.5g

噪音

启动时，会经历大概十秒钟的轻微噪音，这是预热阶段。之后，就几乎听不到声音了。在处理模型的过程中，风扇的响声很平稳，没什么起伏。我用了好几个小时，这期间，风扇一直很安静。而且，散热片摸着不烫，说明设备散热做得挺好。

便捷性

仅需配备鼠标、键盘与显示器，即可实现全面操作。此板体积精巧，工艺细致，便携特性显著，轻而易举纳入随身口袋，随时随地展开工作或学习，移动性极佳。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/48200.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SpringBoot+Vue的图书销售网站（前后端分离）

SpringBoot+Vue的图书销售网站（前后端分离）

技术栈 Java SpringBoot Maven MySQL mybatis Vue Shiro Element-UI 角色对应功能 网站用户 管理员 项目功能截图
阅读更多...
C#中的线性表

C#中的线性表

什么是线性表 线性表是最简单、最基本、最常用的数据结构。线性表是线性结构的抽象(Abstract),线性结构的特点是结构中的数据元素之间存在一对一的线性关系。这种一对一的关系指的是数据元素之间的位置关系,即:(1)除第一个位置的数据元素外,其它数据元素位置的前面都只有一个数…
阅读更多...
Kotlin协程最佳实践

Kotlin协程最佳实践

使用合适的作用域： 避免使用GlobalScope，因为它的生命周期是整个应用程序，可能会导致内存泄漏。相反，使用与组件生命周期绑定的CoroutineScope，例如在Android中使用lifecycleScope。 管理协程的生命周期： …
阅读更多...
代码随想录训练营【贪心算法篇】

代码随想录训练营【贪心算法篇】

贪心 注：本文代码来自于代码随想录 贪心算法一般分为如下四步： 将问题分解为若干个子问题找出适合的贪心策略求解每一个子问题的最优解将局部最优解堆叠成全局最优解 这个四步其实过于理论化了，我们平时在做贪心类的题目 很难去按照这四步…
阅读更多...
深潜数据海洋：Java文件读写全面解析与实战指南

深潜数据海洋：Java文件读写全面解析与实战指南

在软件开发的世界里，文件如同沉默的守护者，承载着程序与现实世界的交流。Java语言，以其强大的文件处理能力，为我们提供了丰富的工具箱，让数据的读写变得既优雅又高效。本文将带你从零开始，逐步深入Java文件…
阅读更多...
掌握Python中的文件序列化：Json和Pickle模块解析

掌握Python中的文件序列化：Json和Pickle模块解析

Python 文件操作与管理：Open函数、Json与Pickle、Os模块 在Python中，文件是一个重要的数据处理对象。无论是读取数据、保存数据还是进行数据处理，文件操作都是Python编程中不可或缺的一部分。本文将详细介绍Python中文件操作的几种常用方法&…
阅读更多...
ImportError: cannot import name ‘packaging‘ from ‘pkg_resources‘

ImportError: cannot import name ‘packaging‘ from ‘pkg_resources‘

降低setuptools版本 pip install setuptools69.5.1https://github.com/aws-neuron/aws-neuron-sdk/issues/893
阅读更多...
阿尔泰科技利用485模块搭建自动灌溉系统实现远程控制

阿尔泰科技利用485模块搭建自动灌溉系统实现远程控制

自动灌溉系统又叫土壤墒情监控系统，土壤墒情监控系统主要实现固定站无人值守情况下的土壤墒情数据的自动采集和无线传输，数据在监控中心自动接收入库；可以实现24小时连续在线监控并将监控数据通过有线、无线等传输方式实时传输到监控中心生成…
阅读更多...
Express+mysql单表分页条件查询

Express+mysql单表分页条件查询

声明（自己还没测试过，只提供大概逻辑，什么多表连接查询可以在原基础上添加） class /*** param connection Express的mysql数据库链接对象* current 当前页* pageSize 一页显示行数* where [{key:id,operator:,value15}], key查询…
阅读更多...
open3d：ransac分割多个平面（源码）

open3d：ransac分割多个平面（源码）

1、背景介绍 随机采样一致性算法（RANSAC Random Sample Consensus）是一种迭代的参数估计算法，主要用于从包含大量噪声数据的样本中估计模型参数。其核心思想是通过随机采样和模型验证来找到数据中最符合模型假设的点。因此，只要事先给定要提取的参数模型，即可从点云中分割…
阅读更多...
[rustlings]13_error_handling

[rustlings]13_error_handling

errors6 这一个就是在Err(E)中加了点手脚,就是Err(E)中E的类型也是一个Err类型. 这里是创建了一个新的Err类型,Err类型中有两种不同的枚举值.对于不同的枚举值代表两种不同的错误. // Using catch-all error types like Box<dyn Error> isnt recommended for // library…
阅读更多...
【HarmonyOS】HarmonyOS NEXT学习日记：四、布局与容器组件

【HarmonyOS】HarmonyOS NEXT学习日记：四、布局与容器组件

【HarmonyOS】HarmonyOS NEXT学习日记&#xff1a;四、布局与容器组件 学习了基础组件之后&#xff0c;想要利用基础组件组装成一个页面&#xff0c;自然就要开始学习布局相关的知识。我理解的ArkUI的布局分为两个部分 一、组件自身的通用属性&#xff0c;诸如weight、height、…
阅读更多...
Linux 下的项目开发：从入门到精通

Linux 下的项目开发：从入门到精通

在 Linux 系统上开发项目是一种常见且高效的实践。Linux 提供了强大的工具和环境&#xff0c;使得开发过程更加流畅。本文将带你了解如何在 Linux 下进行项目开发&#xff0c;从环境搭建到代码管理&#xff0c;再到最终的部署。 一、环境搭建 1.1 安装 Linux 发行版 首先&am…
阅读更多...
加密软件有什么用？五款电脑文件加密软件推荐

加密软件有什么用？五款电脑文件加密软件推荐

加密软件对于个人和企业来说至关重要&#xff0c;尤其是在2024年这样一个高度数字化的时代&#xff0c;数据安全变得尤为重要。 数据保护&#xff1a;加密软件可以保护敏感信息不被未经授权的人访问。这包括个人数据、财务记录、健康信息、企业机密等。 防泄漏&#xff1a;防…
阅读更多...
HarmonyOS工程目录结构

HarmonyOS工程目录结构

应用级配置文件app.json5 应用唯一标识、版本号、应用图标、应用名称等信息 模块级配置文件module.json5 oh-package.json5 三方库的管理 其他配置 用于编译构建&#xff0c;包括构建配置文件、编译构建任务脚本、混淆规则文件、依赖的共享包信息等。 build-profile.json…
阅读更多...
用Wireshark观察IPsec协议的通信过程

用Wireshark观察IPsec协议的通信过程

目录 一、配置本地安全策略 二、启动Wireshark&#xff0c;设置过滤器&#xff0c;开始捕获 1. 主模式 2. Quick mode 三、心得体会 1. 碰到的问题和解决办法 2. 心得 一、配置本地安全策略 配置好IPsec如下&#xff1a; 由于在windows server2008安装wireshark失败&…
阅读更多...
常见的排序算法，复杂度

常见的排序算法，复杂度

稳定 / 非稳定排序&#xff1a;两个相等的数 排序前后 相对位置不变。插入排序&#xff08;希尔排序&#xff09;&#xff1a; 每一趟将一个待排序记录&#xff0c;按其关键字的大小插入到已排好序的一组记录的适当位置上&#xff0c;直到所有待排序记录全部插入为止。稳定&…
阅读更多...
Android IjkPlayer内核编译记（一）so库编译使用

Android IjkPlayer内核编译记（一）so库编译使用

转载请注明出处&#xff1a;https://blog.csdn.net/kong_gu_you_lan/article/details/140528831 本文出自 容华谢后的博客 0.写在前面 最近在搞RTMP协议直播拉流的功能&#xff0c;使用了B站开源的IjkPlayer作为播放器内核&#xff0c;在网络不好的情况下延迟会比较高&#xf…
阅读更多...
网络安全防御【防火墙双机热备带宽管理综合实验】

网络安全防御【防火墙双机热备带宽管理综合实验】

目录 一、实验拓扑图 二、实验要求 三、实验思路&#xff1a; 四、实验步骤&#xff1a; 1、FW3的网络相关配置&#xff1a; 2、FW1的新增配置&#xff1a; 3、交换机LSW6&#xff08;总公司&#xff09;的新增配置&#xff1a; 4、双机热备技术配置&#xff08;双机热…
阅读更多...
Windows环境Apache配置解析PHP，以及配置虚拟主机详解

Windows环境Apache配置解析PHP，以及配置虚拟主机详解

1. 安装 Apache 和 PHP 确保你已经安装了 Apache Web 服务器和 PHP。你可以从官方网站下载它们的 Windows 版本&#xff1a; Apache HTTP ServerPHP 2. 配置 Apache 配置 httpd.conf 文件 找到你的 Apache 安装目录下的 conf 文件夹中的 httpd.conf 文件&#xff0c;使用文…
阅读更多...
最新文章

Copyright @ 2022~2023