【Tauri】(5):本地运行candle和 qwen 大模型,并测试速度

1,本地运行candle

关于candle项目
https://github.com/huggingface/candle

Hugging Face 使用rust开发的高性能推理框架。
语法简单, 风格与 PyTorch 相似。
CPU 和 Cuda Backend:m1、f16、bf16。
支持 Serverless(CPU)、小型和快速部署
支持 WASM,可在浏览器中运行模型。

2,使用CPUP 运行qwen2-1.5大模型

cargo run --example qwen --features cuda -- --model-id Qwen/Qwen1.5-0.5B-Chat --prompt 北京景点推荐

因为网络原因,需要修改地址:

把 https://huggingface.co 修改成 https://hf-mirror.com/

    pub fn from_cache(cache: Cache) -> Self {let token = cache.token();let progress = true;Self {endpoint: "https://huggingface.co".to_string(),url_template: "{endpoint}/{repo_id}/resolve/{revision}/{filename}".to_string(),cache,token,progress,}}

~/cargo/registry/src/rsproxy.cn-0dccff568467c15b/hf-hub-0.3.2/src/api/sync.rs
在这里插入图片描述

否则会报错,访问不到:

     Running `target/debug/examples/qwen --model-id Qwen/Qwen1.5-0.5B-Chat --prompt '北京景点推荐'`
avx: true, neon: false, simd128: false, f16c: true
temp: 0.00 repeat-penalty: 1.10 repeat-last-n: 64
Error: request error: https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat/resolve/main/tokenizer.json: Connection Failed: Connect error: Network is unreachable (os error 101)Caused by:0: https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat/resolve/main/tokenizer.json: Connection Failed: Connect error: Network is unreachable (os error 101)1: Network is unreachable (os error 101)

3,总结下

使用 candle还是非常方便的,使用另外一种方案运行大模型。
使用 cpu 速度就慢多了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/726010.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Angular变化检测 2.0版本学习

在学习如何在Angular中实现文字逐字显示的过程中,我发现要保证用户的体验感的关键点在于:如何确保实时更新.html页面的内容显示,保证及时在UI界面反应出后端返回的数据? 那如何解决这个问题呢?其实我在博客中有提到过这个问题的…

简单两步,从补税到退税

大家好,我是拭心。 最近到了一年一度的个人所得税年度申报时期,有人可以退好几千,而有的人则需要补上万元,人类的悲喜这一刻并不相通。 我申报的时候,提示我需要补税一万多,心有不甘但差一点就认了&#xf…

java SSM科研管理系统myeclipse开发mysql数据库springMVC模式java编程计算机网页设计

一、源码特点 java SSM科研管理系统是一套完善的web设计系统(系统采用SSM框架进行设计开发,springspringMVCmybatis),对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,系统主要采用B/S…

每天学习一个Linux命令之kill

每天学习一个Linux命令之kill 介绍 在Linux系统中&#xff0c;kill命令用于终止或发送信号给正在运行的进程。它是管理进程的一个重要工具&#xff0c;允许用户通过发送信号来控制进程的行为。本文将详细介绍kill命令可用的选项及其用法。 命令格式 kill [选项] <进程ID…

Python基础面试编程知识-杂

文章目录 1、 循环 1-100求和2、删除字典键 del3、合并字典update4、列表去重5、函数中 (*args,**kwargs)的意义6、python2和python3中的range函数区别7、什么样的语言能够用装饰器8、python内建数据类型9、__init__,__new__10、with 方法11、python 中可变数据类型和不可变数据…

796.子矩阵的和(acwing)

文章目录 796.子矩阵的和题目描述前缀和 796.子矩阵的和 题目描述 输入一个 n 行 m 列的整数矩阵&#xff0c;再输入 q 个询问&#xff0c;每个询问包含四个整数 x1,y1,x2,y2&#xff0c;表示一个子矩阵的左上角坐标和右下角坐标。 对于每个询问输出子矩阵中所有数的和。 输…

selenium鼠标操作实战

鼠标操作实战 鼠标单击操作 click()内置鼠标操作包ActionChains鼠标双击操作double_click()鼠标右击操作context_click()鼠标指针悬浮操作move_to_element(ele)鼠标拖动操作drag_and_drop(source, target)其他鼠标操作汇总 鼠标单击操作 click() from selenium import webdriv…

python中的文件操作2

文件遍历 在Python中&#xff0c;遍历文件通常指的是逐行读取文件中的内容。这种方式对于处理大型文件特别有用&#xff0c;因为它不需要一次性将整个文件加载到内存中。下面是几种常见的遍历文件内容的方法&#xff1a; 1. 使用with语句和for循环 这是最推荐的方式&#xf…

“2024杭州智慧城市及安防展会”将于4月在杭州博览中心盛大召开

2024杭州国际智慧城市及安防展览会&#xff0c;将于4月24日在杭州国际博览中心盛大开幕。这场备受瞩目的盛会&#xff0c;不仅汇集了全球智慧城市与安防领域的顶尖企业&#xff0c;更是展示最新技术、交流创新理念的重要平台。近日&#xff0c;从组委会传来消息&#xff0c;展会…

独孤思维:买了台一千块钱的电脑干副业

01 如何让自己集中精力做一件事情&#xff1f; 之前有个圈内大佬&#xff0c;为了写作集中精力&#xff0c;硬生生买了一个一千多的电脑。 这个电脑能干嘛&#xff1f; 只能写作&#xff0c;打字&#xff0c;连视频都卡&#xff0c;游戏就更不可能了。 为的是&#xff0c;…

【网站项目】089理发店会员管理系统

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0c;帮助大学选题。赠送开题报告模板&#xff…

设计模式之模版方法实践

模版方法实践案例 实践之前还是先了解一下模版方法的定义 定义 模板方法模式是一种行为设计模式&#xff0c;它定义了一个骨架&#xff0c;并允许子类在不改变结构的情况下重写的特定步骤。模板方法模式通过在父类中定义一个模板方法&#xff0c;其中包含了主要步骤&#xf…

上海亚商投顾:沪指缩量调整 机器人概念股午后大涨

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。 一.市场情绪 沪指昨日缩量震荡&#xff0c;创业板指午后涨超1%&#xff0c;随后上演冲高回落走势。风电、光伏等新能源方向…

Redis第7讲——哨兵模式详解

为了解决主从模式的无法自动容错及恢复的问题&#xff0c;Redis在主从复制的基础上加入了哨兵节点&#xff0c;也就是我们熟悉的哨兵模式。但现在基本不会用到哨兵模式&#xff0c;也就是这种模式只存在于面试中。 一、什么是哨兵模式 ps&#xff1a;主从服务器之间的数据同步…

ping多个IP的工具

Ping Tool 项目地址 python开发的IP搜索小工具 ping一个网段所有IP&#xff0c;显示结果查看某个ip地址开放监听的端口配置可保存

MogDB/openGauss更改数据库目录位置建议测试环境

MogDB/opengauss 更改数据库目录位置(建议测试环境) 有时我们部署完数据库&#xff0c;发现随着数据量的不断增加&#xff0c;数据目录所在的磁盘大小不能够满足我们的需求&#xff0c;需要更大的磁盘空间&#xff0c;这时选择重新部署数据库会很麻烦&#xff0c;之前所使用的…

Python基于opencv的人脸识别上课签到考勤系统,附源码

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…

MATLAB环境下基于图像处理的计算病理学图像分割(MATLAB R2021B)

人工智能是病理学诊断和研究的重要新兴方法&#xff0c;其不仅可用于病理形态数据分析&#xff0c;还可整合免疫组化、分子检测数据和临床信息&#xff0c;得出综合的病理诊断报告&#xff0c;为患者提供预后信息和精准的药物治疗指导。计算病理学是病理学与AI、计算机视觉等信…

vant van-field 密码输入框小程序里隐藏、显示密码bug总结

老规矩先上效果图: vant 输入框组件 密码的隐藏与显示功能&#xff1a; 注: 用password属性控制密码的显示与隐藏 不要用type属性&#xff0c;type属性在真机上有时会没有效果 1、当然如果只用typepassword 不需要切换显示、隐藏也可以使用。 2、如果用到了密码的显示与…