书生·浦语大模型实战营Day04OpenXLab 部署

书生·浦语大模型实战营Day04OpenXLab 部署

  • 如何在 OpenXLab 部署一个 InternLM2-7B chat 的应用。

OpenXLab·浦源平台介绍

OpenXLab 浦源平台以开源为核心，旨在构建开源开放的人工智能生态，促进学术成果的开放共享。OpenXLab面向 AI 研究员和开发者提供 AI 领域的一站式服务平台，包含数据集中心、模型中心和应用中心，致力于推动人工智能对产学研各领域全面赋能，为构建人工智能开放生态，推动人工智能科研与技术突破、交叉创新和产业落地提供全方位的平台支撑。

部署 InternLM2

在这里插入图片描述

  • InternLM2 GitHub文档：https://github.com/InternLM/InternLM

  • Gradio官方说明文档：https://www.gradio.app/docs/interface

  • OpenXLab平台地址：https://openxlab.org.cn/home

模型准备

准备InternLM2-Chat-7B的预训练模型。InternLM2-Chat-7B的模型权重链接如下：

ModelOpenXLabHugging FaceModelScope
InternLM2-Chat-7BOpenLMLab/internlm2-chat-7binternlm/internlm2-chat-7bShanghai_AI_Laboratory/internlm2-chat-7b

  1. 如有自己微调的模型，跳过该步骤，用自己训练好的模型即可。

  2. 如需获取 InternLM2其他模型，可查看 GitHub 的 Model Zoo 文档

上传模型

若 OpenXLab 模型中心已托管你所需要的模型，可跳过模型上传的步骤

在这里插入图片描述

初始化 Git 配置

安装Git的命令取决于您使用的操作系统。以下是在不同操作系统上安装 Git 的常见方法：

Windows:

  1. 访问Git官方网站下载页面：Git - Downloads
  2. 点击“Windows”下载Git安装程序。
  3. 运行下载的安装程序并按照向导指示完成安装。
# use git install lfs
git lfs install

Linux:

安装 git 和 git lfs，命令如下

# install git
# sudo apt-get update
# sudo apt-get install git# install git lfs
sudo apt-get update
sudo apt-get install git-lfs# use git install lfs
git lfs install

设置您的 Git 用户名，OpenXLab 使用你在平台的用户名作为 Git的用户名，具体获取路径，可登录 OpenXLab 后，点击个人头像下的 【账号与安全】查看个人的用户名

配置 Git Username，用于作为 Git 提交的身份标识。

git config --global user.name "sunxiaobei"

需要将 Username 替换成你在 OpenXLab 平台上的用户名

配置 Git Email

git config --global user.email "1371815174@qq.com"
获取 Git Access Token

在 OpenXLab 的密钥管理添加 Git 令牌

进入密钥管理页面，点击添加令牌，输入一个令牌名称和选择可写的权限

在这里插入图片描述

添加完令牌后，记得复制生成的 Access Token，如下图所示，在后续上传模型文件，执行git push 命令时会需要填入 Username 和 Access Token 信息

拉取模型仓库

首先需要在 OpenXLab 先创建一个模型空仓库，填写模型仓库的基本信息，包括仓库名称、任务类型、访问权限等。

创建完成空的模型仓库后，找到该仓库的 git 地址并拉取该空仓库至本地，空仓库的地址在模型文件的下载按钮下。

cd /root/
git clone https://code.openxlab.org.cn/sunxiaobei/personal_assistant.git
# git clone git@code.openxlab.org.cn:sunxiaobei/personal_assistant.git
cd personal_assistant
git lfs install
上传模型文件

在克隆的仓库目录中整理模型文件，即将你的模型文件放入至clone的目录中，并执行git push命令将模型推送至远程仓库

cp /root/demo/ft/final_model/* /root/personal_assistant/

在执行 git push 之前，如果您的仓库中包含大型文件，并且您希望使用 Git LFS 来管理这些文件，您需要先标记这些文件以便 Git LFS 能够识别它们。这通常是通过使用 git lfs track 命令来标记。以下是使用 git lfs track 命令的基本步骤：

LFS管理大文件：使用 git lfs track 命令来标记你希望通过 Git LFS 管理的大文件。例如，您想要通过LFS管理所有的 .bin和 .model的模型文件，可以使用以下命令：

git lfs track "*.bin"
git lfs track "*.model"

标记LFS管理的文件后，提交更新的信息，执行 git push 上传模型，命令如下所示：

cd personal_assistant
git add -A
git commit -m "upload model"
git push

命令行解释

  1. cd internlm2-chat-7b：切换到名为internlm2-chat-7b的目录。
  2. git add -A：添加所有新文件、修改过的文件和删除的文件到暂存区。
  3. git commit -m "upload model"：创建一个新的提交，附带提交信息"upload model"。
  4. git push：将本地的提交推送到远程仓库。

在这里插入图片描述

在执行 git push 时会弹出身份验证的弹窗，填入 Username 和 Access Token 信息，如图所示

其他身份验证方式

平台也提供SSH密钥方式身份验证，本小节不再赘述，如想了解 SSH 密钥身份验证可参考：https://openxlab.org.cn/docs/models/%E4%B8%8A%E4%BC%A0%E6%A8%A1%E5%9E%8B.html#%E4%B8%8A%E4%BC%A0%E6%A8%A1%E5%9E%8B%E6%96%87%E4%BB%B6

# 生成密钥文件
ssh-keygen -t rsa -C "1371815174@qq.com"# 公钥信息 复制到配置
ssh-rsa AAAAB3  ******************git clone git@code.openxlab.org.cn:sunxiaobei/personal_assistant.git

在这里插入图片描述

编写代码

本小节为编写 chat 的 web-ui 代码，主要包括项目结构初始化、应用环境配置和 gradio 应用代码的编写

在这里插入图片描述

初始化项目结构

创建一个新的 GitHub 仓库来存放您的 gradio 应用代码。推荐的项目结构如下：

  • https://github.com/sunxiaobei/internlm_assistant
├─GitHub_Repo_Name
│  ├─app.py                 # Gradio 应用默认启动文件为app.py，应用代码相关的文件包含模型推理，应用的前端配置代码
│  ├─requirements.txt       # 安装运行所需要的 Python 库依赖（pip 安装）
│  ├─packages.txt           # 安装运行所需要的 Debian 依赖项（ apt-get 安装）
|  ├─README.md              # 编写应用相关的介绍性的文档
│  └─...

示例代码仓库： https://github.com/keyhsw/internlm2-chat-7b-git

 

应用环境配置

依赖管理：配置应用所需的运行环境,如有 Python 依赖项（ pip 安装）可写入 requirements.txt 中，Debian 依赖项（ apt-get 安装）可写入 packages.txt 中，并存放至代码仓库的根目录下。

requirement.txt 配置 python相关的依赖包，例如 gradio、torch、transformers 等

gradio==4.10.0
transformers
sentencepiece
einops
accelerate
tiktoken

packages.txt 配置下载模型权重的工具包 git 和 git-lfs

git
git-lfs

其他环境安装：若您需要安装除了 Python 以外的包，如需要通过 mim 安装 mmcv，您可先在 requirement.txt 中填写 mim，然后在 app.py 中写入以下代码，即可完成相关包的安装：

import os
os.system("mim install mmcv-full")

 

编写 gradio 应用代码

编写一个app.py文件，里面可以通过transformers框架进行模型实例化并通过gradio组件搭建chat聊天界面，本次代码都存放在 GitHub示例代码仓库中，如需查看详细代码编写，可浏览 https://github.com/keyhsw/internlm2-chat-7b-git

import gradio as gr
import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoModel# download internlm2 to the base_path directory using git tool
base_path = './internlm2-chat-7b'
os.system(f'git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-7b.git {base_path}')
os.system(f'cd {base_path} && git lfs pull')tokenizer = AutoTokenizer.from_pretrained(base_path,trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(base_path,trust_remote_code=True, torch_dtype=torch.float16).cuda()def chat(message,history):for response,history in model.stream_chat(tokenizer,message,history,max_length=2048,top_p=0.7,temperature=1):yield responsegr.ChatInterface(chat,title="InternLM2-Chat-7B",description="""
InternLM is mainly developed by Shanghai AI Laboratory.  """,).queue(1).launch()

 
应用代码注意事项 ：在 app.py 文件中，如需下载模型和了解文件存放路径

  1. 工作目录：OpenXLab 应用代码默认存储的位置为 /home/xlab-app-center，如需指定存储路径，可用相对路径“./”表示，本示例采用相对路径方式
  2. 模型下载：若需要在app.py中快速导入模型，可前往 模型中心上传模型权重后，通过平台提供的 git 方式进行下载，详情可参考 应用如何导入模型中心的模型，模型上传的详细步骤可查看 模型上传详细流程
import os
# download internlm2 to the base_path directory using git tool
base_path = './internlm2-chat-7b'
os.system(f'git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-7b.git {base_path}')
os.system(f'cd {base_path} && git lfs pull')

 

推送代码至 GitHub

编写完应用代码，记得推动您的应用代码至 GitHub 仓库中，推送本地代码至 GitHub 的命令如下：

cd personal_assistant
git add -A
git commit -m "add app.py requirements.txt packages.txt"
git push

 

部署应用

本小节为在OpenXLab浦源平台中，部署写好的 chat web-ui 的应用，具体步骤如下。

在这里插入图片描述

创建入口

创建入口在导航栏的右侧 + 创建 应用 Gradio

应用配置

填写 Chat 应用的基础信息，包括应用的名称和应用对应的任务类型，并填入 GitHub 仓库的地址，选择硬件资源后，即可立即创建啦~

应用配置注意事项

  1. GitHub 授权：若未进行 GitHub 授权,请先前往授权
  2. 自定义启动文件：若您有需要自定义启动的文件,可以通过配置选择启动文件的路径
  3. 资源申请：若当前您的资源quota不能满足您的应用需求,也可以填写硬件资源申请表单进行 申请获取
  • 如需部署 InternLM2-7b 模型建议申请 8vCPU 32GB Nvidia A10 24GB 规格资源
  • 如需部署 InternLM2-20b 模型建议申请 12vCPU 48GB Nvidia A100 40GB 规格资源
  1. 环境变量配置：若您有不方便在代码中暴露的变量信息,可通过高级配置中的环境变量进行配置

  在这里插入图片描述

应用构建和启动

查看日志，调试应用代码，若应用代码无问题，运行成功，可体验应用，并将应用进行公开

在这里插入图片描述

构建应用过程中，可以尽量去完善应用的信息，包括应用封面、中文别称、关联论文和关联模型等信息，有利于后续的平台的推荐~

 
构建过程中，可查看应用的构建日志，及时查看应用的构建进度和启动情况

由于平台资源有限，可能会因为没有资源启动而进入排队中，请耐心等候

 

应用公开

应用成功运行后，可以进行测试应用是否能跑通，跑通后可以将应用进行公开，让更多人可以看到您的应用哦~

课程资料

  • 课程视频：https://www.bilibili.com/video/BV1Rc411b7ns
  • OpenXLab：https://studio.intern-ai.org.cn
  • 学习手册：https://kvudif1helh.feishu.cn/docx/Xx8hdqGwmopi5NxWxNWc76AOnPf
  • OpenXLab 平台介绍 ：https://openxlab.org.cn/docs/intro.html
  • OpenXLab Gradio 应用教程：https://openxlab.org.cn/docs/apps/Gradio%E5%BA%94%E7%94%A8.html
  • OpenXLab 上传模型教程：https://openxlab.org.cn/docs/models/%E4%B8%8A%E4%BC%A0%E6%A8%A1%E5%9E%8B.html

在这里插入图片描述
个人小站：https://www.xiaowangyun.com

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/1428.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

FPGA - ZYNQ Cache一致性问题

FPGA - ZYNQ Cache一致性问题

什么是Cache？ Cache是一种用来提高计算机运行速度的一种技术。它是一种小而快的存储设备，位于CPU与内存之间，用于平衡高速设备与低速设备之间的速度差异。Cache可以存储常用的数据或指令，以便CPU更快地获取，从而减少对…
阅读更多...
竞逐智能家居大模型：美的“蓄力”，海尔“疾行”

竞逐智能家居大模型：美的“蓄力”，海尔“疾行”

配图来自Canva可画 随着ChatGPT火热出圈，AI大模型便成为了各行各业必争的高地。“BAT”等互联网大厂、华为、小米等通讯巨头，以及一些垂直AI公司，都开始在大模型市场积极布局。众所周知，发展大模型的关键在于应用场景的落地&…
阅读更多...
Redis-cluster集群架构

Redis-cluster集群架构

一、集群架构 上述集群架构师一个由多个主从节点群组成的分布式服务器，具有复制、高可用和分片的特性。Redis集群不需要sentine哨兵也能完成节点移除和故障转移。官方文档称可以扩展上万个节点。推荐不超过1000个；从节点只担任备份的角色，不承…
阅读更多...
MySQL基础篇总结

MySQL基础篇总结

参考：黑马程序员MySQL基础视频链接 数据库基本操作 启动与停止 1.第一种方式： 1>以管理员身份运行cmd 2>在命令行窗口中输入: 启动:net start mysql80停止:net stop mysql80 2.第二种方式: 1>WinR快捷方式打开如下： 输入&#…
阅读更多...
【可视化大屏开发】19. 加餐-百度地图API实现导航加线路热力图

【可视化大屏开发】19. 加餐-百度地图API实现导航加线路热力图

需求 Web端使用场景中会涉及到地图导航路线情况，并利用热力图显示路况信息。 实现效果如下： 输入起始地点，选择并开始导航 最终效果 思路步骤 利用百度地图API显示地图交通拥堵情况的热力图，需要按照以下步骤进行开发 步骤1&a…
阅读更多...
9.Godot数组|遍历|静态变量|对象|调试

9.Godot数组|遍历|静态变量|对象|调试

数组和字典的遍历 数组的概念 数组是一组数据的集合。在程序中负责批量处理数据。数组中的元素可以包括各个类型的数据，也可以对数组内数据类型进行限定。可以通过 数组名【数字】 的形式来访问数组元素，数字 0 代表数组的第一个元素。数组可以通过调用…
阅读更多...
【大数据】TiDB: A Raft-based HTAP Database

【大数据】TiDB: A Raft-based HTAP Database

文章目录 数据库知识介绍数据库系统的ACID特性分布式系统和CAP理论关系型数据库与非关系型数据库关系型数据库非关系型数据库 OldSQL、NoSQL、NewSQLOldSQLNoSQLNewSQL OLTP、OLAP、HTAP 前言：为什么选择TiDB学习？pingCAP介绍TiDB介绍TiDB的影响力TiDB概…
阅读更多...
Java发送邮件 启用SSL

Java发送邮件 启用SSL

使用的maven依赖： <dependency><groupId>com.sun.mail</groupId><artifactId>javax.mail</artifactId><version>1.4.7</version> </dependency> 配置文件mail.properties如下： # 邮箱配置 email.username=your-email@exa…
阅读更多...
[Java EE] 多线程(三):线程安全问题(上)

[Java EE] 多线程(三):线程安全问题(上)

1. 线程安全 1.1 线程安全的概念 如果多线程环境下代码运行的结果不符合我们的预期,则我们说存在线程安全问题,即程序存在bug,反之,不存在线程安全问题. 1.2 线程不安全的原因 我们下面举出一个线程不安全的例子:我们想要在两个线程中对count进行操作 public class Demo9 …
阅读更多...
山东大学操作系统实验一（Linux虚拟机实现）

山东大学操作系统实验一（Linux虚拟机实现）

目录 实验题目 实验要求 示例程序 主程序 头文件 重点代码解析 一、main函数的参数 参数介绍 参数输入方式 本块代码 二、信号处理 本块代码 原理介绍 实现效果 三、kill函数 功能介绍 使用方式 本块代码 四、头文件处理 本块代码 代码作用 实验程序 …
阅读更多...
微调Llama3实践并基于Llama3构建心理咨询EmoLLM

微调Llama3实践并基于Llama3构建心理咨询EmoLLM

Llama3 Xtuner微调Llama3 EmoLLM 心理咨询师
阅读更多...
【嵌入式DIY实例】-称重计

【嵌入式DIY实例】-称重计

DIY称重计 文章目录 DIY称重计1、硬件准备1.1 HX711 称重传感器模块2、硬件接线原理图3、代码实现在本文中，我们将使用数字体重秤 HX711 称重传感器模块来实现一个简易的称重计。 HX711 模块非常适合测量重量、力或任何其他可以以克为单位的东西。 该模块易于使用，可以连接到…
阅读更多...
SpringBoot-餐饮业供应商管理系统-94116

SpringBoot-餐饮业供应商管理系统-94116

SpringBoot餐饮业供应商管理系统 摘 要 随着餐饮业竞争的加剧&#xff0c;不仅需要有吸引力的菜肴&#xff0c;还需要先进的管理手段&#xff0c;才能在餐饮业站稳脚跟。通过完善的餐饮业供应商管理系统&#xff0c;不仅可以帮助餐饮企业在物流配送、商品管理等方面有所改进&a…
阅读更多...
代码随想录总结|60天代码随想录训练结束（图论没开）

代码随想录总结|60天代码随想录训练结束（图论没开）

今年2月19日晚上我辗转反侧&#xff0c;看着目标院校复试群发呆。大学3年&#xff0c;前两年生病养病&#xff0c;后半年家里出了状况&#xff0c;玉玉了半学期。算是一事无成了&#xff0c;寒假尝试着刷LeetCode&#xff0c;就从B站上找教程&#xff0c;就找到了卡哥。看了一下…
阅读更多...
Python根据公募基金在一定时期内持有的股票数据进行社会网络分析

Python根据公募基金在一定时期内持有的股票数据进行社会网络分析

【背景】根据提供的公募基金在一定时期内持有的股票数据&#xff0c;构建一个社会网络分析框架&#xff0c;度量每个基金在每年的度中心度、介数中心度和特征向量中心度&#xff0c;并对相关数据做出简要说明。 【代码】 import networkx as nx import pandas as pd import n…
阅读更多...
IDEA2024配置RunDashBoard(Services)面板

IDEA2024配置RunDashBoard(Services)面板

IDEA2024配置RunDashBoard(Services)面板 新版本的IDEA没有RunDashBoard&#xff0c;取而代之的是Services面板&#xff0c;不需要配置workspace.xml文件; 本文教你简单的方法就能一个SpringBoot的Main运行多次&#xff0c;方便调试。 1、配置启动类 导航栏&#xff0c;Edit…
阅读更多...
使用立创EDA打开JSON格式的PCB及原理图

使用立创EDA打开JSON格式的PCB及原理图

一、将PCB和原理图放同一文件夹 并打包成.zip文件 二、打开嘉立创EDA并导入.zip文件 文件 -> 导入 -> 嘉立创EDA标准版/专业版 三、选择.zip文件并选择 “导入文件并提取库” 四、自定义工程路径 完成导入并转换为.eprj文件 五、视频教学 bilibili_使用立创EDA打开JSO…
阅读更多...
Pytorch入门实战: 06-VGG-16算法-Pytorch实现人脸识别

Pytorch入门实战: 06-VGG-16算法-Pytorch实现人脸识别

第P6周&#xff1a;VGG-16算法-Pytorch实现人脸识别 &#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客 &#x1f356; 原作者&#xff1a;K同学啊 &#x1f3e1; 我的环境&#xff1a; 语言环境&#xff1a;Python3.8 编译器&#xff1a;Jupyter La…
阅读更多...
Rest接口/Nginx日志记录和采集

Rest接口/Nginx日志记录和采集

文章目录 一、Rest接口日志二、Nginx日志三、采集日志四、夜莺查看Nginx日志五、夜莺查看Rest接口日志 一、Rest接口日志 记录日志字典定义 接口URL接口名称,类别,入参全记录,出参全记录,入参字段1:中文名1/入参字段2:中文名2,出参字段1:中文名1/test/api/login账户登录,登录…
阅读更多...
Redis 逻辑过期策略设计思路

Redis 逻辑过期策略设计思路

引言&#xff1a; 当我们平常使用Redis缓存的时候&#xff0c;会出现一种场景&#xff0c; redis的key到过期时间了&#xff0c;总是需要到数据库里面去查一遍数据再set回redis&#xff0c;这个时候如果数据库响应比较慢&#xff0c;那么就会造成用户等待&#xff0c;如果刚好…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023