技术实战|ELF 2学习板本地部署DeepSeek-R1大模型的完整指南(一)

DeepSeek作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本,实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。

RK3588作为瑞芯微推出的旗舰级芯片,凭借多核异构计算能力以及强大的CPU、GPU和NPU性能,成为嵌入式AI应用的理想平台。DeepSeek-R1与ELF 2学习板的深度融合,标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式,不仅解决了边缘侧实时性、隐私保护等关键需求,更构建起从技术研发到产业赋能的完整价值链条。接下来,让我们深入探讨这一过程是如何具体实现的。

Image_20250210153031.png

一、移植过程

(1)下载DeepSeek-R1源码

在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。

(2)安装转换工具

在Ubuntu创建虚拟环境并安装RKLLM-Toolkit,以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。

(3)模型转换

使用RKLLM-Toolkit对模型进行转换,RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一,它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型,从而将RKLLM模型在Rockchip NPU上加载运行。

(4)编译DeepSeek-R1程序

安装交叉编译工具链,以编译RKLLM Runtime可执行文件,该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。

(5)模型部署

将编译好的RKLLM模型和可执行文件上传至板端即可执行,这样就可以在ELF 2学习板的调试串口上和DeepSeek-R1对话了,而且无需联网。

二、效果展示

DeepSeek-R1是一款多功能的人工智能助手,它在多个领域内均能提供高效而全面的支持。即便是本地离线版本,无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答,还是编程任务的辅助完成,R1都能凭借其强大的数据处理能力和广博的知识储备库,给出既准确且实用的建议,成为用户在各领域探索时的可靠伙伴。

(1)普通信息搜索

DeepSeek-R1能够快速检索并提供准确的信息。例如,当询问“保定飞凌嵌入式技术有限公司”时,DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等,帮助用户全面了解该公司的情况。

1 保定飞凌嵌入式技术有限公司搜索

(2)专业设备问题维修意见

对于专业设备问题,DeepSeek-R1能够提供详细的故障分析和解决方案。例如,针对PLC报错误码E01的问题,R1分析可能造成故障的原因,如电源问题、接线错误或硬件故障,并提供相应的解决步骤,帮助用户快速排除故障。

2 PLC故障码(1)

(3)数学题解答

DeepSeek-R1拥有卓越的数学运算能力,擅长攻克各类数学难题。举例来说,在面对红蓝铅笔的采购问题时,它能够巧妙地构建方程组并迅速求解,精确计算出红铅笔与蓝铅笔的应购数量,为用户提供即时且准确的解决方案。不仅如此,DeepSeek-R1还附带了详尽的验证步骤,确保结果的准确无误。

3 红蓝铅笔数学问题

(4)编程任务

DeepSeek-R1在编程方面表现出色,能够根据用户需求编写代码。例如,针对ELF 2学习板的串口通信需求,R1可以提供完整的C语言示例程序,包括串口初始化、数据接收和发送等功能,帮助用户实现串口通信。

4 串口编程

从上述视频中不难发现,DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能,已然成为各位小伙伴工作学习中不可或缺的智能伙伴。

三、性能测评

在完成移植后我们进行了全面的性能评测,以验证 DeepSeek-R1在ELF 2学习板上的运行效果。经过详细的测试与对比,归纳了以下几个关键性能指标:

实时性:从视频播放中可以看到,DeepSeek-R1输出的回答结果清晰且流畅,未出现任何延迟或卡顿现象。

CPU占用:DeepSeek-R1在ELF 2学习板上运行的CPU占用为12%~17%,这一表现证明了框架的高效性,使其即便在资源受限的设备上也能顺利运行,扩展了其应用场景和商业潜力。

图片

内存占用:在进行上述功能测试时,DeepSeek-R1的内存占用约为825MB。这保证了系统的流畅运行,避免了由于内存不足引起的性能问题,使得用户的应用体验更加顺畅。

图片

NPU占用:由下图可见DeepSeek-R1在ELF 2学习板上运行时,能够更高效地分配计算资源,其NPU(神经处理单元)的三个核心负载均达到了83%。

图片

在此次演示中,我们全面展示了DeepSeek-R1的实际应用成效,其强大功能与高效能表现得到了有力证明。后续文章中将详细介绍DeepSeek-R1向ELF 2学习板的移植细节,包括多样化的移植方式及操作步骤。如果屏幕前的小伙伴对这一过程感兴趣,欢迎持续关注我们,期待与您在嵌入式教育的道路上探索更多可能性!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/69694.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DeepSeek本地部署_桌面版AnythingLLM本地知识库搭建

一.DeepSeek本地部署 1.下载并安装:ollama Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/download 安装是否成功确认,管理员权限运行PowerShell: ollama -h 2.下载安装DeepSeek 管理员方式运行PowerShell&#…

BGP基础协议详解

BGP基础协议详解 一、BGP在企业中的应用二、BGP概述2.1 BGP的特点2.2 基本配置演示2.3 抓包观察2.4 BGP的特征三、BGP对等体关系四、bgp报文4.1 BGP五种报文类型(重点)4.2 BGP报文格式-报文头格式4.3 Open报文格式4.4 Update报文格式4.5 Notification报文格式4.6 Route-refre…

2025.2.10 每日学习记录3:技术报告只差相关工作+补实验

0.近期主任务线 1.完成小论文准备 目标是3月份完成实验点1的全部实验和论文。 2.准备教资笔试 打算留个十多天左右,一次性备考笔试的三个科目 1.实习申请技术准备:微调、Agent、RAG 据央视财经,数据显示,截至2024年12月…

算法 ST表

目录 前言 一,暴力法 二,打表法 三,ST表 四,ST表的代码实现 总结 前言 ST表的主要作用是在一个区间里面寻找最大值,具有快速查找的功能,此表有些难,读者可以借助我的文章和网上的课程结…

25考研材料复试面试常见核心问题真题汇总,材料考研复试面试有哪些经典问题?材料考研复试过程最看重什么内容?

材料复试面试难!千万不要死磕!复试是有技巧的! 是不是刷了三天三夜经验贴,还是不知道材料复试会问啥?去年我复试时被导师连环追问"非晶合金的原子扩散机制",差点当场宕机...今天学姐掏心窝总结&…

Docker Compose介绍及安装使用MongoDB数据库详解

在现代容器化应用部署中,Docker Compose是一种非常实用的工具,它允许我们通过一个docker-compose.yml文件来定义和运行多容器应用程序。然而,除了Docker之外,Podman也提供了类似的工具——Podman Compose,它允许我们在…

netcore openTelemetry+prometheus+grafana

一、netcore项目 二、openTelemetry 三、prometheus 四、grafana添加Dashborad aspire/src/Grafana/dashboards at main dotnet/aspire GitHub 导入:aspnetcore.json和aspnetcore-endpoint.json 效果:

团结引擎“虚拟阴影贴图”能力解析

在团结引擎 1.4.0 版本中,我们发布了重磅功能:虚拟阴影贴图(Virtual Shadow Maps,VSM),全面升级开发体验,为开发者提供更加逼真的光影效果。 虚拟阴影贴图介绍 虚拟阴影贴图(Virtua…

docker.service job docker.service/start failed with result ‘dependency‘

Bug:docker.service job docker.service/start failed with result ‘dependency’ 运行以下命令: sudo systemctl start docker.service出现错误: docker.service job docker.service/start failed with result dependency解决办法: 给系…

docker 逃逸突破边界

免责声明 本博客文章仅供教育和研究目的使用。本文中提到的所有信息和技术均基于公开来源和合法获取的知识。本文不鼓励或支持任何非法活动,包括但不限于未经授权访问计算机系统、网络或数据。 作者对于读者使用本文中的信息所导致的任何直接或间接后果不承担任何…

SaaS+AI应用架构:业务场景、智能体、大模型、知识库、传统工具系统

SaaSAI应用架构:业务场景、智能体、大模型、知识库、传统工具系统 大家好,我是汤师爷~ 在SaaS与AI应用的演进过程中,合理的架构设计至关重要。本节将详细介绍其五个核心层次: 业务场景层:发现和确定业务场景智能体层…

使用 Visual Studio Code (VS Code) 开发 Python 图形界面程序

安装Python、VS Code Documentation for Visual Studio Code Python Releases for Windows | Python.org 更新pip >python.exe -m pip install --upgrade pip Requirement already satisfied: pip in c:\users\xxx\appdata\local\programs\python\python312\lib\site-pa…

运放放大器

1 运放是什么 1.1 运算放大器,常用于做信号处理。如:信号放大、滤波、积分、微分、整流、甚至可以用来做电路主控等等。其功能非常强大 1.2 运放的重要特性 虚短 (前提是要有负反馈) 1.2.1 虚短的概念是指运放在正常工作过程中&#xff0c…

RDK新一代模型转换可视化工具!!!

作者:SkyXZ CSDN:SkyXZ~-CSDN博客 博客园:SkyXZ - 博客园 之前在使用的RDK X3的时候,吴诺老师wunuo发布了新一代量化转换工具链使用教程,这个工具真的非常的方便,能非常快速的完成X3上模型的量化…

玩转适配器模式

文章目录 解决方案现实的举例适用场景实现方式适配器模式优缺点优点:缺点:适配器模式可比上一篇的工厂模式好理解多了,工厂模式要具有抽象的思维。这个适配器模式,正如字面意思,就是要去适配某一件物品。 假如你正在开发一款股票市场监测程序, 它会从不同来源下载 XML 格…

LIMO:上海交大的工作 “少即是多” LLM 推理

25年2月来自上海交大、SII 和 GAIR 的论文“LIMO: Less is More for Reasoning”。 一个挑战是在大语言模型(LLM)中的复杂推理。虽然传统观点认为复杂的推理任务需要大量的训练数据(通常超过 100,000 个示例),但本文展…

渗透利器工具:Burp Suite 联动 XRAY 图形化工具.(主动扫描+被动扫描)

Burp Suite 联动 XRAY 图形化工具.(主动扫描被动扫描) Burp Suite 和 Xray 联合使用,能够将 Burp 的强大流量拦截与修改功能,与 Xray 的高效漏洞检测能力相结合,实现更全面、高效的网络安全测试,同时提升漏…

企业数据集成案例:吉客云销售渠道到MySQL

测试-查询销售渠道信息-dange:吉客云数据集成到MySQL的技术案例分享 在企业的数据管理过程中,如何高效、可靠地实现不同系统之间的数据对接是一个关键问题。本次我们将分享一个具体的技术案例——通过轻易云数据集成平台,将吉客云中的销售渠…

windows生成SSL的PFX格式证书

生成crt证书: 安装openssl winget install -e --id FireDaemon.OpenSSL 生成cert openssl req -x509 -newkey rsa:2048 -keyout private.key -out certificate.crt -days 365 -nodes -subj "/CN=localhost" 转换pfx openssl pkcs12 -export -out certificate.pfx…

win10 llamafactory模型微调相关① || Ollama运行微调模型

目录 微调相关 1.微调结果评估 2.模型下载到本地 导出转换,Ollama运行 1.模型转换(非常好的教程!) 2.Ollama 加载GGUF模型文件 微调相关 1.微调结果评估 【06】LLaMA-Factory微调大模型——微调模型评估_llamafactory评估-C…