【AIGC】本地部署通义千问 1.5 (PyTorch)

今天想分享一下 Qwen 1.5 官方用例的二次封装（ huggingface 说明页也有提供源码），其实没有太多的技术含量。主要是想记录一下如何从零开始在不使用第三方工具的前提下，以纯代码的方式本地部署一套大模型，相信这对于技术人员来说还是非常有用的。

虽然现在人人都可以用像 ollama 这种工具一键部署本地大模型，但想通过这种方式将大模型深度接入现有系统可就有点麻烦。 因此我觉得还是有必要各位分享一下这种纯代码的模式，希望能够帮助到更多的人。

1. 模型下载

通过之前的文章可以知道，现在国内可以通过 https://hf-mirror.com/ 下载 huggingface 大模型。在配置好环境变量后，可以通过以下命令下载 Qwen：

yuanzhenhui@MacBook-Pro ~ % cd /Users/yuanzhenhui/Documents/code_space/git/processing/python/tcm_assistant/transformer/model/qwen
yuanzhenhui@MacBook-Pro qwen % huggingface-cli download --resume-download Qwen/Qwen1.5-7B-Chat --local-dir .
Consider using `hf_transfer` for faster downloads. This solution comes with some limitations. See https://huggingface.co/docs/huggingface_hub/hf_transfer for more details.
Fetching 14 files:   7%|█▊                       | 1/14 [00:00<00:06,  1.87it/s]downloading https://hf-mirror.com/Qwen/Qwen1.5-7B-Chat/resolve/294483ad23713036574b30587b186713373f4271/README.md to /Users/yuanzhenhui/.cache/huggingface/hub/models--Qwen--Qwen1.5-7B-Chat/blobs/0963c198257a0607c4d2def66a84aec172240afd.incomplete
README.md: 4.26kB [00:00, 6.40MB/s]
Fetching 14 files: 100%|████████████████████████| 14/14 [00:01<00:00, 12.81it/s]
/Users/yuanzhenhui/Documents/code_space/git/processing/python/tcm_assistant/transformer/model/qwen

由于我之前已经 checkout 过一遍了，因此会显示上面的输出。如果是第一次 checkout 那么你可能要等一段时间才能全部下载完成（毕竟还挺大的）。

如果你是 MacOS 的用户那么模型的路径将会如下所示：

(base) yuanzhenhui@MacBook-Pro hub % pwd
/Users/yuanzhenhui/.cache/huggingface/hub
(base) yuanzhenhui@MacBook-Pro hub % ls
models--BAAI--bge-large-zh-v1.5	models--Qwen--Qwen1.5-7B-Chat	version.txt
(base) yuanzhenhui@MacBook-Pro hub %

由于下载的是 “Qwen/Qwen1.5-7B-Chat” 因此下载下来后会以“models–Qwen–Qwen1.5-7B-Chat”名称进行保存。

这时有小伙伴会问，huggingface-cli 命令中不是有写“–local-dir .”参数吗？如果模型不是保存在这个参数指定的位置，那么这个参数有什么用途？这个“.”（本地目录）又有什么意义？

其实通过 local-dir 存放的是大模型的软连接和配置文件，如下图所示：

(base) yuanzhenhui@MacBook-Pro qwen % tree -l
.
├── LICENSE
├── README.md
├── config.json
├── generation_config.json
├── merges.txt
├── model-00001-of-00004.safetensors -> ../../../../../../../../../.cache/huggingface/hub/models--Qwen--Qwen1.5-7B-Chat/blobs/9e8f7873d7c4c74b8883db207a08bf8a783ec8c26da6b3d660a0929048ce6422
├── model-00002-of-00004.safetensors -> ../../../../../../../../../.cache/huggingface/hub/models--Qwen--Qwen1.5-7B-Chat/blobs/e573fdaf3eba785c4b31b8858288f762f3541f09d75b53dfb1ae4d8ee5011d65
├── model-00003-of-00004.safetensors -> ../../../../../../../../../.cache/huggingface/hub/models--Qwen--Qwen1.5-7B-Chat/blobs/1d7cd36508251baa069a894f6ee98da5929e8b0788ff9c9faa7934ad102f845a
├── model-00004-of-00004.safetensors -> ../../../../../../../../../.cache/huggingface/hub/models--Qwen--Qwen1.5-7B-Chat/blobs/189e7a297229937ec93912c940ef05019738c56ff0720c811fd083f5dd400dce
├── model.safetensors.index.json
├── tokenizer.json -> ../../../../../../../../../.cache/huggingface/hub/models--Qwen--Qwen1.5-7B-Chat/blobs/33ea6c72ebb92a237fa2bdf26c5ff16592efcdae
├── tokenizer_config.json
└── vocab.json0 directories, 13 files

model-00001-of-00004.safetensors、model-00002-of-00004.safetensors 等都是连接到 …/.cache/huggingface/hub 地址的。可能作者考虑到模型的复用问题吧，因此没有将模型直接下载到本地指定目录，而是将软连接建在这个目录底下，这个就不做深究了。

2. 代码部署使用

在真正使用前，按照 Qwen 1.5 的官方说明，我们还需要将 transformer 升级到 4.37.0 版本及其以上。如下图：
image.png
既然这样，那就直接 pip install --upgrade 吧，如下图：

(base) yuanzhenhui@MacBook-Pro qwen % pip install --upgrade transformers
Requirement already satisfied: transformers in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (4.37.0)
Collecting transformersDownloading transformers-4.39.3-py3-none-any.whl.metadata (134 kB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 134.8/134.8 kB 358.9 kB/s eta 0:00:00
Requirement already satisfied: filelock in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (3.13.1)
Requirement already satisfied: huggingface-hub<1.0,>=0.19.3 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (0.20.3)
Requirement already satisfied: numpy>=1.17 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (1.26.4)
Requirement already satisfied: packaging>=20.0 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (23.2)
Requirement already satisfied: pyyaml>=5.1 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (6.0.1)
Requirement already satisfied: regex!=2019.12.17 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (2023.10.3)
Requirement already satisfied: requests in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (2.31.0)
Requirement already satisfied: tokenizers<0.19,>=0.14 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (0.15.2)
Requirement already satisfied: safetensors>=0.4.1 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (0.4.2)
Requirement already satisfied: tqdm>=4.27 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from transformers) (4.65.0)
Requirement already satisfied: fsspec>=2023.5.0 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from huggingface-hub<1.0,>=0.19.3->transformers) (2023.10.0)
Requirement already satisfied: typing-extensions>=3.7.4.3 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from huggingface-hub<1.0,>=0.19.3->transformers) (4.9.0)
Requirement already satisfied: charset-normalizer<4,>=2 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from requests->transformers) (2.0.4)
Requirement already satisfied: idna<4,>=2.5 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from requests->transformers) (3.4)
Requirement already satisfied: urllib3<3,>=1.21.1 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from requests->transformers) (2.0.7)
Requirement already satisfied: certifi>=2017.4.17 in /Users/yuanzhenhui/anaconda3/lib/python3.11/site-packages (from requests->transformers) (2024.2.2)
Downloading transformers-4.39.3-py3-none-any.whl (8.8 MB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 8.8/8.8 MB 2.6 MB/s eta 0:00:00
Installing collected packages: transformersAttempting uninstall: transformersFound existing installation: transformers 4.37.0Uninstalling transformers-4.37.0:Successfully uninstalled transformers-4.37.0
Successfully installed transformers-4.39.3

轻轻松松就能够升级到 4.39.3 版本了。接下来就可以编写部署代码，如下图：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer"""
由于 Qwen 1.5 已经整合到 transformers 里面了，因此我这边使用的正是 transformers 的调用方式
"""# 大模型名称和模型定义
model_name = "Qwen/Qwen1.5-7B-Chat"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")# 这里对大模型角色进行定义
sys_content = "You are a helpful assistant"# 获取千问 token 实例
def setup_qwen_tokenizer():return AutoTokenizer.from_pretrained(model_name)# 设置问答输入信息
def setup_model_input(tokenizer, prompt):# 判断硬件使用情况，有 cuda 用 cuda 没有 cuda 用 cpuif torch.cuda.is_available():  device = torch.device("cuda")  else:  device = torch.device("cpu")# 需要提问的内容的 json 格式    messages = [{"role": "system", "content": sys_content},{"role": "user", "content": prompt}]# 该函数将使用提供了标记化器来生成输入文本，然后对其进行标记化并将其转换为PyTorch张量。text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) return tokenizer([text], return_tensors="pt").to(device)# 提交问题并获取回复
def msg_generate(prompt):tokenizer = setup_qwen_tokenizer()# 整理模型所需的输入信息model_inputs = setup_model_input(tokenizer, prompt)# 根据模型生成id集合generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512)# 删除没有响应的idgenerated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]# 根据id集合对返回信息进行解码获得返回结果return tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]if __name__ == '__main__':# 这里提供一个调用实例prompt = "中医药理论是否能解释并解决全身乏力伴随心跳过速的症状？"response = msg_generate(prompt)print(">>> "+response)

将 msg_generate 封装之后就能够根据需要提供对外服务了（在外层加一层 flask 不就可以直接提供接口了么，再加个精美一点的 UI 界面，老板又可以割一波韭菜了，技术人员保住饭碗不是梦…开个玩笑）。具体的执行效果如下图：

(base) yuanzhenhui@MacBook-Pro qwen % python qwen_model.py 
Loading checkpoint shards: 100%|██████████████████| 4/4 [00:00<00:00,  8.75it/s]
WARNING:root:Some parameters are on the meta device device because they were offloaded to the disk and cpu.
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
>>> 中医药理论确实可以尝试解释和治疗全身乏力和心跳过速的综合症状，但需要具体辨证论治，因为中医认为人体的病症是内外环境、脏腑功能失衡的结果。以下是可能的解释和治疗方法：1. 全身乏力：中医认为这是“气虚”、“血虚”或“阴阳两虚”的表现。气虚可能导致人体机能下降，运化无力；血虚则可能影响血液滋养全身，导致四肢乏力。心悸（心跳过速）可能是心气不宁，心神不安，或是心血不足，心脉瘀阻等问题。调理方法可能包括补气养血、益心安神等，比如黄芪、人参、当归、熟地、枣仁等中药。2. 心跳过速：中医认为可能是心火上炎、心血瘀阻、心神不宁等引起。针对不同的病因，可能采用清热解毒、活血化瘀、镇静安神等方法，如黄连、丹参、麦冬、柏子仁等。3. 实践中，中医会通过望、闻、问、切四诊合参，全面了解患者的整体情况，然后开具个性化的处方。如果心跳过速伴有其他症状，如胸闷、心慌、失眠、面色苍白等，可能还需要结合西医的心电图检查和其他检查结果。4. 请注意，虽然中医药有其独特的疗效，但对于严重的或持续存在的症状，还是建议及时就医，以西医的诊断和治疗为主，中医辅助调养。总的来说，中医药在调理全身状况，改善亚健康状态，特别是对于一些慢性病的治疗上有独特优势，但对于急性病和严重症状，应遵循医嘱，中西医结合为宜。

由于我用的是 Mac 因此只能用 cpu 跑，就一个问题也跑了将近 20 分钟，所以建议大家本地部署还是用 gpu 吧。当然了千问团队也很贴心弄了GGUF 版本（专门为 cpu 用户提供的），但是我没有尝试过我就不多说什么了。

但说真的能够代码部署那后面的可塑性就很强了，相信接下来会有更多的企业投身到“人工智能+”的行列吧，在这里真的要感谢阿里千问团队付出的努力和无私的分享。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/813812.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

两步解决 Flutter Your project requires a newer version of the Kotlin Gradle plugin

两步解决 Flutter Your project requires a newer version of the Kotlin Gradle plugin

在开发Flutter项目的时候，遇到这个问题Flutter Your project requires a newer version of the Kotlin Gradle plugin 解决方案分两步： 1、在android/build.gradle里配置最新版本的kotlin 根据提示的kotlin官方网站搜到了Kotlin的最新版本是1.9.23,如下图所示： 同时在Ko…
阅读更多...
【软考中级】软件设计师考点分布

【软考中级】软件设计师考点分布

文章目录 软考官网资格设置软考报考流程 【软件设计师】考点分布选择题考点分布案例题考点分布 软考官网 中国计算机技术职业资格网&#xff1a;https://www.ruankao.org.cn/ 官网报名平台&#xff1a;https://bm.ruankao.org.cn/sign/welcome 资格设置 计算机软件计算机网…
阅读更多...
全栈的自我修养 ———— 如何发布一个npm包？

全栈的自我修养 ———— 如何发布一个npm包？

创建本地仓库 npm init在此期间会让你添加一些版本信息和名称 登陆npm npm login ——> yinhaodada arx.040208发布 npm publish查询
阅读更多...
ELK 日志分析系统（一）

ELK 日志分析系统（一）

一、概念 二、详解 2.1 Elasticsearch 核心概念 2.1.1 接近实时(NRT) 2.1.2 cluster集群 2.1.3 Node节点 2.1.4 index索引 2.1.5 类型&#xff08;type&#xff09; 2.1.6 文档&#xff08;document) 2.1.7 分片和副本(shards & replicas) 2.2 Logstash主要组件 …
阅读更多...
OpenHarmony开源三方库的cmake在IDE上直接引用的问题

OpenHarmony开源三方库的cmake在IDE上直接引用的问题

前言 DevEco Studio的native工程的C/C部分当前只支持cmake脚本的编译&#xff0c;工程的目录结构如下图所示 在工程中引用第三方库有如下三种方式&#xff0c; 一、find_package模式 通过find_package&#xff0c;可以在指定目录下去搜索已安装的库&#xff08;三方库构建完后…
阅读更多...
【cmake安装】研发环境搭建之cmake安装

【cmake安装】研发环境搭建之cmake安装

背景 因为项目需求&#xff0c;需要家里的Win10 PC安装Ubuntu 20.04虚拟机并搭建编译环境&#xff0c;需要安装cmake编译环境 直接命令安装即可 sudo apt install cmake安装成功后&#xff1a; 3.16版本暂时也够用了
阅读更多...
编写Markdown时如何爽爽地渲染树？

编写Markdown时如何爽爽地渲染树？

在使用VitePress/Dumi等静态网站生成时&#xff0c;一般均支持直接在Markdown中渲染显示Vue/React组件&#xff0c;这给个网站非常丰富极致的表现力&#xff0c;我们在创建静态网站时开心的使用各种Vue/React组件&#xff0c;但是在输出树结构时&#xff0c;实际场景中存在几个…
阅读更多...
开发日志2024-04-12

开发日志2024-04-12

开发日志2024/04/12 1、分店月业绩和年业绩都需要添加为真实数据 **开发思路&#xff1a;**分店下所属的技师的业绩总和 代码实现&#xff1a; 前端 无 后端 //TODO 将技师多对应的积分累加到他所属的分店的月/年累计业绩销量中//TODO 查询技师所对应的分店地址String f…
阅读更多...
【C++入门】内联函数、auto与基于范围的for循环

【C++入门】内联函数、auto与基于范围的for循环

&#x1f49e;&#x1f49e; 前言 hello hello~ &#xff0c;这里是大耳朵土土垚~&#x1f496;&#x1f496; &#xff0c;欢迎大家点赞&#x1f973;&#x1f973;关注&#x1f4a5;&#x1f4a5;收藏&#x1f339;&#x1f339;&#x1f339; &#x1f4a5;个人主页&#x…
阅读更多...
「2024」React 状态管理入门

「2024」React 状态管理入门

概念 简单来说&#xff0c;状态指的是某一时刻应用中的数据或界面的呈现。这些数据可能包括用户填写表单的信息、应用内的用户偏好设置、应用的页面/路由状态、或者任何其他可能改变UI的信息。 状态管理是前端开发中处理用户界面(UI)状态的过程&#xff0c;在复杂应用中尤其重…
阅读更多...
MATLAB 构建协方差矩阵，解算特征值和特征向量（63）

MATLAB 构建协方差矩阵，解算特征值和特征向量（63）

MATLAB 局部点云构建协方差矩阵，解算特征值和特征向量（63） 一、算法介绍二、算法实现1.代码2.结果一、算法介绍 对于某片有待分析的点云，我们希望构建协方差矩阵，计算特征值和特征向量，这是很多算法必要的分析方法，这里提供完整的计算代码（验证正确） !!! 特别需要注意…
阅读更多...
Linux上的可执行文件在Windows上是不能运行的

Linux上的可执行文件在Windows上是不能运行的

一、概要 1、可执行文件的格式 Linux上的可执行文件是elf格式的 Windows上的可执行文件是exe格式的 Linux上的可执行文件在Windows上是不能运行的 2、程序的普通构建与静态构建 普通构建&#xff1a; 一个.c文件&#xff0c;用gcc命令编译成可执行文件(程序)&#xff0c…
阅读更多...
[lesson22]对象的销毁

[lesson22]对象的销毁

对象的销毁 对象的销毁 生活中的对象都是被初始化后才上市的 生活中的对象被销毁前会做一些清理工作 一般而言&#xff0c;需要销毁的对象都应该做清理 解决方案 为每个类都提供一个public的free函数对象不在需要时立即调用free函数进行清理 存在的问题 free只是一个普通…
阅读更多...
STM32H7的MPU学习和应用示例

STM32H7的MPU学习和应用示例

STM32H7的MPU学习记录 什么是MPU&#xff1f;MPU的三种内存类型内存映射MPU保护区域以及优先级 MPU的寄存器XN位AP位TEX、C、B、S位SRD 位SIZE 位CTRL 寄存器的各个位 示例总结 什么是MPU&#xff1f; MPU&#xff08;Memory Protection Unit&#xff0c;内存保护单元&#xf…
阅读更多...
文献分享：《基于中国人群的BRCA胚系突变筛查专家共识（2024年版）》

文献分享：《基于中国人群的BRCA胚系突变筛查专家共识（2024年版）》

&#xff3b;摘要&#xff3d; BRCA基因&#xff08;包括BRCA1和BRCA2&#xff09;的胚系突变是家族性乳腺癌、卵巢癌等肿瘤的核心风险因素。在人群中&#xff0c;特别是已有肿瘤家族史的高危人群中&#xff0c;BRCA基因检测可以发挥预防性管理作用&#xff0c;有助于降低此类遗…
阅读更多...
【C语言__编译和链接__复习篇2】

【C语言__编译和链接__复习篇2】

目录 前言 一、翻译环境和运行环境 二、翻译环境 2.1 预处理 2.1 编译 2.1.1 词法分析 2.1.2 语法分析 2.1.3 语义分析 2.2 汇编 2.3 链接 三、运行环境 四、简答主线问题 前言 本篇主要讨论以下问题&#xff1a; 主线问题&#xff1a; 1. 源文件(.c)如何转换成(.exe)文件…
阅读更多...
每日一题---OJ题: 环形链表 II

每日一题---OJ题: 环形链表 II

片头 嗨! 小伙伴们,大家好! 我们又见面啦,在上一篇中,我们学习了环形链表I, 今天我们继续来打boss,准备好了吗? Ready Go ! ! ! emmm,同样都是环形链表,有什么不一样的地方呢? 肯定有, 要不然也不会一个标记为"简单" ,一个标记为"中等"了,哈哈哈哈哈 …
阅读更多...
·13·1dawwd

·13·1dawwd

c语言中的小小白-CSDN博客c语言中的小小白关注算法,c,c语言,贪心算法,链表,mysql,动态规划,后端,线性回归,数据结构,排序算法领域.https://blog.csdn.net/bhbcdxb123?spm1001.2014.3001.5343 给大家分享一句我很喜欢我话&#xff1a; 知不足而奋进&#xff0c;望远山而前行&am…
阅读更多...
轮腿机器人-五连杆正运动学解算

轮腿机器人-五连杆正运动学解算

轮腿机器人-五连杆与VMC 1.五连杆正运动学分析2.参考文献 1.五连杆正运动学分析 如图所示为五连杆结构图&#xff0c;其中A&#xff0c;E为机器人腿部控制的两个电机&#xff0c;θ1,θ4可以通过电机的编码器测得。五连杆控制任务主要关注机构末端C点位置&#xff0c;其位置用直…
阅读更多...
Zotero插件ZotCard中AI-NNDL文献笔记卡分享及卡片使用方法

Zotero插件ZotCard中AI-NNDL文献笔记卡分享及卡片使用方法

一、卡片社区分享 github&#xff1a;ZotCard插件AI-NNDL论文卡片模板 Issue #67 018/zotcard (github.com) 二、卡片效果预览 ZotCard插件AI-NNDL论文卡片模板是关于人工智能神经网络与深度学习论文的笔记卡片&#xff0c;效果预览如下图&#xff1a; 三、卡片代码 经过了…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023