大模型实战营第二期——2. 浦语大模型趣味Demo

文章目录

1. 大模型及InternLM模型介绍
2. InternLM-Chat-7B智能对话Demo
- 2.1 基本说明
- 2.2 实际操作
- - 2.2.1 创建开发机
  - 2.2.2 conda环境配置
  - 2.2.3 模型下载
  - 2.2.4 InternLM代码库下载和修改
  - 2.2.5 cli运行
  - 2.2.6 web_demo运行
3. Lagent智能体工具调用Demo
- 3.1 基本说明
- 3.2 实际操作
- - 3.2.1 准备操作
  - 3.2.2 修改代码
  - 3.2.3 运行web_demo
4. 浦语.灵笔图文创作理解Demo
- 4.1 基本说明
- 4.2 实际操作
- - 4.2.1 调整开发机配置
  - 4.2.2 conda环境配置
  - 4.2.3 模型下载
  - 4.2.4 InternLM-XComposer代码库下载和运行
5. 通用环境配置

视频链接：轻松玩转书生·浦语大模型趣味Demo
文档链接： InternLM/tutorial/helloworld/hello_world.md
Intern-Studio链接： Intern-Studio控制台

1. 大模型及InternLM模型介绍

在这里插入图片描述

大模型：参数规模大的模型，
这个大的量级指的是： 十亿甚至千亿以上的参数

在这里插入图片描述

2. InternLM-Chat-7B智能对话Demo

在这里插入图片描述

2.1 基本说明

在这里插入图片描述

7B（Billion， 10亿），70亿ca参数
8K token的上下文窗口长度

2.2 实际操作

2.2.1 创建开发机

在课程分配的InterStudio中，创建新的开发机，进行相应的选择，类似：

在这里插入图片描述
对于InternLM-Chat-7B的部署测试，使用A100（1/4）即可（1个A100的显存是80GB，四分之一就是20GB）

在这里插入图片描述
创建完成之后，刚开始会显示排队（其实是在为你分配资源），分配好之后，右侧的SSH连接和进入开发机就可以使用了

进入开发机会新打开一个页面，就是改了点界面的jupyter，那就不需要用vscode走ssh连接了，直接jupyter操作好了。
在这里插入图片描述

2.2.2 conda环境配置

接下来根据文档的提示，配置一些必要的环境

# 1. 请每次使用 jupyter lab 打开终端时务必先执行 bash 命令进入 bash 中
bash # 2. 执行该脚本文件来安装项目实验环境, 从本地克隆一个已有的 pytorch 2.0.1 的环境
bash /root/share/install_conda_env_internlm_base.sh internlm-demo  
# 这个要按一会的，等着吧# 3. 检查conda环境
conda info -e                                                                                
# conda environments:
#
base                  *  /root/.conda
internlm-demo            /root/.conda/envs/internlm-demo# 4.然后激活刚刚新建的环境
conda activate internlm-demo 
# 则conda环境从base变成了internlm-demo# 5.并在环境中安装运行 demo 所需要的依赖。
python -m pip install --upgrade pip # 升级pip
pip install modelscope==1.9.5
# 其实安装modelscope的过程中，也会安装 huggingface-hub-0.20.3 包
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1

一些探索：

# 其实本机使用的shell就是bash，也不需要切换
(base) root@intern-studio-052101:/opt/jupyterlab$ echo $SHELL
/bin/bash
(base) root@intern-studio-052101:/opt/jupyterlab$ cat /etc/shells
# /etc/shells: valid login shells
/bin/sh
/bin/bash
/usr/bin/bash
/bin/rbash
/usr/bin/rbash
/bin/dash
/usr/bin/dash

关于bash，之前写过macOS的terminal的zsh颜色主题设置及zsh和bash切换

2.2.3 模型下载

InternStudio 平台的 share 目录下已经为我们准备了全系列的 InternLM 模型，所以我们可以直接复制即可

# 注意，这里所说的share是/root/share/model_repos/目录
ls /root/share/model_repos/
> internlm-20b       internlm-chat-7b       internlm2-20b       internlm2-base-7b         internlm2-chat-20b-sft   internlm2-chat-7b-sft
internlm-7b        internlm-chat-7b-8k    internlm2-7b        internlm2-chat-20b        internlm2-chat-7b
internlm-chat-20b  internlm-chat-7b-v1_1  internlm2-base-20b  internlm2-chat-20b-4bits  internlm2-chat-7b-4bits
# 而不是下面这个目录
ls /root/share/temp/model_repos
> internlm-chat-7b  internlm-xcomposer-7b# 复制是为了留个备份
mkdir -p /root/model/Shanghai_AI_Laboratory
cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory# 复制好之后可以去看看文件内容，可以用jupyter左侧的目录看，也可以用命令行查看详情
ls -lh /root/model/Shanghai_AI_Laboratory/internlm-chat-7b 
total 14G
-rw------- 1 root root  12K Feb  8 15:36 README.md
-rw------- 1 root root  731 Feb  8 15:36 config.json
-rw------- 1 root root   62 Feb  8 15:36 configuration.json
-rw------- 1 root root 5.1K Feb  8 15:36 configuration_internlm.py
-rw------- 1 root root  132 Feb  8 15:36 generation_config.json
-rw------- 1 root root  43K Feb  8 15:36 modeling_internlm.py
-rw------- 1 root root 1.9G Feb  8 15:36 pytorch_model-00001-of-00008.bin
-rw------- 1 root root 1.9G Feb  8 15:36 pytorch_model-00002-of-00008.bin
-rw------- 1 root root 1.9G Feb  8 15:36 pytorch_model-00003-of-00008.bin
-rw------- 1 root root 1.9G Feb  8 15:36 pytorch_model-00004-of-00008.bin
-rw------- 1 root root 1.9G Feb  8 15:36 pytorch_model-00005-of-00008.bin
-rw------- 1 root root 1.9G Feb  8 15:36 pytorch_model-00006-of-00008.bin
-rw------- 1 root root 1.9G Feb  8 15:36 pytorch_model-00007-of-00008.bin
-rw------- 1 root root 807M Feb  8 15:36 pytorch_model-00008-of-00008.bin
-rw------- 1 root root  37K Feb  8 15:36 pytorch_model.bin.index.json
-rw------- 1 root root   95 Feb  8 15:36 special_tokens_map.json
-rw------- 1 root root 8.8K Feb  8 15:36 tokenization_internlm.py
-rw------- 1 root root 1.6M Feb  8 15:36 tokenizer.model
-rw------- 1 root root  343 Feb  8 15:36 tokenizer_config.json

很明显，里面有8个bin文件夹是用来存放权重的，加起来大约是14GB左右。
在这里插入图片描述

如果使用的是非InterStudio平台进行训练部署，那么可以使用modelscope进行下载，模型大小为 14 GB，下载模型大概需要 10~20 分钟

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='/root/model', revision='v1.0.3')

参考：

modelscope模型库/internlm-chat-7b || 书生·浦语-对话-7B
hugging face-internlm/internlm-chat-7b
这两个模型库里也都可以看到模型文件的详情

2.2.4 InternLM代码库下载和修改

mkdir /root/code
cd /root/code
git clone https://gitee.com/internlm/InternLM.git# 切换到教程的分支，保证更好的复现效果
cd InternLM
git checkout 3028f07cb79e5b1d7342f4ad8d11efad3fd13d17

然后将/root/code/InternLM/web_demo.py 中 29 行和 33 行的模型更换为本地的 /root/model/Shanghai_AI_Laboratory/internlm-chat-7b

2.2.5 cli运行

可以在 /root/code/InternLM 目录下新建一个 cli_demo.py 文件，将以下代码填入其中：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLMmodel_name_or_path = "/root/model/Shanghai_AI_Laboratory/internlm-chat-7b"tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='auto')
model = model.eval()system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""messages = [(system_prompt, '')]print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")while True:input_text = input("User  >>> ")input_text = input_text.replace(' ', '')if input_text == "exit":breakresponse, history = model.chat(tokenizer, input_text, history=messages)messages.append((input_text, response))print(f"robot >>> {response}")

然后去运行上面的脚本（建议这里去vscode的终端运行下面的命令，看起来会比较好看。
另外因为使用的是绝对路径，所以不用担心cli的当前执行路径问题）

python /root/code/InternLM/cli_demo.py# 需要一些时间加载模型
> Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████| 8/8 [00:40<00:00,  5.02s/it]
# 然后就会出现对话界面，等待输入对话，速度有点慢，等等就好。
=============Welcome to InternLM chatbot, type 'exit' to exit.=============
User  >>> 有什么好用的本地markdown编辑笔记软件吗
robot >>> 目前有许多好用的本地 Markdown 编辑软件供您选择。以下是一些常用的本地 Markdown 编辑器：1. Typora - 一个简单易用的 Markdown 编辑器，具有实时预览功能。
2. Marked - 一个轻量级的 Markdown 编辑器，支持多种输出格式。
3. Marked2 - 另一个轻量级的 Markdown 编辑器，具有类似于 Typora 的实时预览功能。
4. Sublime Text - 一款功能强大的代码编辑器，也支持 Markdown 格式。
5. Atom - 由 GitHub 开发的一个开源文本编辑器，支持 Markdown 和许多其他编程语言。
6. Vim - 一款经典的文本编辑器，支持多种编程语言，包括 Markdown。
7. Nano - 一个轻量级的文本编辑器，支持 Markdown 和 Git。
8. Visual Studio Code - 一个免费的跨平台代码编辑器，支持 Markdown 和许多其他编程语言。这些工具都具有不同的优点和缺点，您可以根据自己的需要选择最适合您的工具。

输入exit即可退出

2.2.6 web_demo运行

这个就切换到vscode里去运行吧。。

# 切换到vscode，就需要重新进入对应的conda和shell环境了
bash
conda activate internlm-demo  # 首次进入 vscode 会默认是 base 环境，所以首先切换环境
cd /root/code/InternLM
streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006

教程里说需要配置端口，其实不用。。。（6006默认是tensorboard的端口），

如果是jupyter的命令行，则不可以，
但是如果是vscode里的命令行运行，则就可以打开

在这里插入图片描述
运行这个命令等待一会，然后就可以看到右侧弹出一个窗口，点击Open in Browser，就可以打开网页了。

打开网页链接之后，模型才会开始加载
在这里插入图片描述

加载模型结束之后才会显示这个界面。

3. Lagent智能体工具调用Demo

在这里插入图片描述

3.1 基本说明

在这里插入图片描述

3.2 实际操作

3.2.1 准备操作

和上一个智能对话Demo需要的conda环境是一致的
需要下载的预训练模型也是InternLM-Chat-7B

需要安装的代码库不是InternLM.git了，而是lagent.git，为了保证下载速度，这里用的都是gitee上的链接，而不是github。

与上面的操作类似，

cd /root/code
git clone https://gitee.com/internlm/lagent.git
cd /root/code/lagent
git checkout 511b03889010c4811b1701abb153e02b8e94fb5e # 尽量保证和教程commit版本一致
pip install -e . # 源码安装

3.2.2 修改代码

然后直接复制3.4 修改代码中的内容到/root/code/lagent/examples/react_web_demo.py中。

其实有意义的修改没几个，主要还是修改预训练模型的位置，其它就是注释掉一些页面显示元素，以及空格换行等格式
在这里插入图片描述

3.2.3 运行web_demo

和上面也是类似的

streamlit run /root/code/lagent/examples/react_web_demo.py --server.address 127.0.0.1 --server.port 6006

这里有了Lagent，就可以针对具体的场景，进行一些适配，比如求解数学问题。
试了一下经典的鸡兔同笼问题：

现有一笼子，里面有鸡和兔子若干只，数一数，共有头14个，腿38条，聪明的小朋友，你能算出鸡和兔子各有多少只吗？

反应比较慢，可以通过命令行查看模型加载情况：
在这里插入图片描述

效果还挺好的🥳🥳🥳
在这里插入图片描述

另外，由于左侧有上传文件的按钮，所以试了一下，不是多模态的，哈哈哈，不支持图。
在这里插入图片描述
又试了一下，

并不具备生图的能力，所以还是以文字为主

在这里插入图片描述

4. 浦语.灵笔图文创作理解Demo

在这里插入图片描述

4.1 基本说明

在这里插入图片描述

4.2 实际操作

4.2.1 调整开发机配置

在这里插入图片描述

关闭之前的页面，停止开发机，然后点击升降配置，选择 A100(1/4)*2，再次启动。
可以看到，root目录下，之前创建的model和root文件夹内容还在，
同时conda info -e可以看到，之前创建的环境internlm-demo还在，就可以继续使用了

4.2.2 conda环境配置

# 这里用的conda环境的脚本和internlm-demo的一样，只是名字改了，
# 因此如果是在之前开发机的基础上升降配置得到的，这步可以不执行
# 需要激活的则是： conda activate internlm-demo# 否则，如果是新建的开发机，就还要继续执行
/root/share/install_conda_env_internlm_base.sh xcomposer-demo
conda activate xcomposer-demo# 但是pip安装则和之前区别很大,这个必须要执行
pip install transformers==4.33.1 timm==0.4.12 sentencepiece==0.1.99 gradio==3.44.4 markdown2==2.4.10 xlsxwriter==3.1.2 einops accelerate

关于timm库，详见：timm库（CV利器）的入门教程
gradio：快速生成 AI 应用的框架对比：Gradio、Streamlit 和 Dash

4.2.3 模型下载

mkdir -p /root/model/Shanghai_AI_Laboratory
cp -r /root/share/temp/model_repos/internlm-xcomposer-7b /root/model/Shanghai_AI_Laboratory

也可以通过代码下载，类似上面(只是模型名字不一样)：

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-xcomposer-7b', cache_dir='/root/model', revision='master')

4.2.4 InternLM-XComposer代码库下载和运行

cd /root/code
git clone https://gitee.com/internlm/InternLM-XComposer.git
cd /root/code/InternLM-XComposer
git checkout 3e8c79051a1356b9c388a6447867355c0634932d  # 最好保证和教程的 commit 版本一致

这次没啥要改的了，直接跑命令行就行

cd /root/code/InternLM-XComposer
python examples/web_demo.py  \--folder /root/model/Shanghai_AI_Laboratory/internlm-xcomposer-7b \--num_gpus 1 \--port 6006# OSError: Cannot find empty port in range: 6006-6006. You can specify a different port by setting the GRADIO_SERVER_PORT environment variable or passing the `server_port` parameter to `launch()`
# 如果报错端口被占用，则换一个端口号即可，比如: 6008或者别的任何一个

这里 num_gpus 1 是因为InternStudio平台对于 A100(1/4)*2 识别仍为一张显卡。但如果之后使用两张 3090 来运行此 demo，仍需将 num_gpus 设置为 2 。

但是我的gradio页面显示很乱。。
在这里插入图片描述

运行时终端提示：
Could not create share link. Missing file: /root/.conda/envs/internlm-demo/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.2. Please check your internet connection. This can happen if your antivirus software blocks the download of this file. You can install manually by following these steps: 1. Download this file: https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64
2. Rename the downloaded file to: frpc_linux_amd64_v0.2
3. Move the file to this location: /root/.conda/envs/internlm-demo/lib/python3.10/site-packages/gradio如果命令行下载不下来，可以先在本机下载，然后上传到服务器，然后再复制过去
cp /root/code/frpc_linux_amd64_v0.2 /root/.conda/envs/internlm-demo/lib/python3.10/site-packages/gradio

没用，不报这个错了，但是页面显示依然乱码。。哈哈哈