[书生·浦语大模型实战营]——第二节：轻松玩转书生·浦语大模型趣味 Demo

1. 部署InternLM2-Chat-1.8B 模型进行智能对话

1.1配置环境

创建开发机
Intern Studio 官网网址：https://studio.intern-ai.org.cn/
在这里插入图片描述
进入官网后，选择创建开发机，填写 开发机名称 后，点击 选择镜像 使用 Cuda11.7-conda 镜像，然后在资源配置中，使用 10% A100 * 1 的选项，立即创建开发机器。
在这里插入图片描述
然后机器会排队创建（等待的有点久嗷，不知道为啥）。
配置环境
进入开发机在terminal后输入环境配置命令如下：

studio-conda -o internlm-base -t demo
# 与 studio-conda 等效的配置方案
# conda create -n demo python==3.10 -y
# conda activate demo
# conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

激活环境

conda activate demo

安装其他依赖包：

pip install huggingface-hub==0.17.3
pip install transformers==4.34 
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2 
pip install matplotlib==3.8.3 
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99

1.2 下载 InternLM2-Chat-1.8B 模型

创建文件夹

mkdir -p /root/demo
touch /root/demo/cli_demo.py #touch主要用于创建空文件或设置文件的时间戳
touch /root/demo/download_mini.py
cd /root/demo

在download_mini.py中复制以下代码：

import os
from modelscope.hub.snapshot_download import snapshot_download# 创建保存模型目录
os.system("mkdir /root/models")# save_dir是模型保存到本地的目录
save_dir="/root/models"snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b", cache_dir=save_dir, revision='v1.1.0')

然后运行该文件以下载模型参数文件。

1.3 运行cli_demo

在cli_demo.py中复制以下内容，然后运行

import torch
from transformers import AutoTokenizer, AutoModelForCausalLMmodel_name_or_path = "/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""messages = [(system_prompt, '')]print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")while True:input_text = input("\nUser  >>> ")input_text = input_text.replace(' ', '')if input_text == "exit":breaklength = 0for response, _ in model.stream_chat(tokenizer, input_text, messages):if response is not None:print(response[length:], flush=True, end="")length = len(response)

运行效果如下：
在这里插入图片描述
有点怪啊，最后总是有一句总结句>_<

2.部署实战营优秀作品 八戒-Chat-1.8B模型

2.1简介

八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一，八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。
项目链接：https://www.modelscope.cn/models/JimmyMa99/BaJie-Chat-mini/summary

2.2环境配置

基本环境和上一节一致，只需要激活

conda activate demo

从git仓库拉取

cd /root/
git clone https://gitee.com/InternLM/Tutorial -b camp2
# git clone https://github.com/InternLM/Tutorial -b camp2
cd /root/Tutorial

2.3下载运行Demo

下载

python /root/Tutorial/helloworld/bajie_download.py

运行

streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

端口映射
在powershell中运行下述命令

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374

这个38374端口号可以在SSH连接中查看，然后输入下方的密码(我似乎没有输入密码，但是仍然可以用？)
打开 http://127.0.0.1:6006 后，结果如下：
在这里插入图片描述

3.实战：使用 Lagent 运行 InternLM2-Chat-7B 模型

3.1 初步介绍 Lagent 相关知识

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
在这里插入图片描述
Lagent的特点：

  • 流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。
  • 接口统一，设计全面升级，提升拓展性，包括：
    Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
    Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；
    Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
  • 文档全面升级，API 文档全覆盖。

3.2配置环境

激活环境

conda activate demo

切换目录

cd /root/demo

拉取代码库

git clone https://gitee.com/internlm/lagent.git
# git clone https://github.com/internlm/lagent.git
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac
pip install -e . # 源码安装

3.3 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体

切换路径

cd /root/demo/lagent

构造软链接

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

打开 lagent 路径下 examples/internlm2_agent_web_demo_hf.py 文件，并修改对应位置 (71行左右) 代码，修改运行demo中的模型路径为本地路径

# 其他代码...
value='/root/models/internlm2-chat-7b'
# 其他代码...

运行

streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

端口映射，同上一节
结果展示如下，（未勾选数据分析）
在这里插入图片描述
勾选数据分析
在这里插入图片描述
似乎没什么区别？

4.实战：实践部署 浦语·灵笔2 模型

4.1 初步介绍 XComposer2 相关知识

浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：

  • 自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
  • 准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
  • 杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。

在这里插入图片描述
可以看到该模型在开源模型中效果非常好，在闭源模型和开源SOTA中也表现强劲。

4.2 环境配置

启动环境

conda activate demo

补充安装依赖包

pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5

拉取InternLM-XComposer 代码

cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626

创建软链接

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b

4.3图文写作实战

启动InternLM-XComposer：

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

记得开端口映射
实现效果如下
在这里插入图片描述

4.4图片理解实战

运行InternLM-XComposer2-vl

conda activate democd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006

效果展示：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/15137.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

CSS中的Flex布局

CSS中的Flex布局

目录 一.什么是Flex布局 二.Flex布局使用 2.1Flex使用语法 2.2基本概念 三.容器的属性 3.1所有属性概述 3.2flex-direction 3.3flex-wrap 3.4flex-flow 3.5justify-content 3.6align-items 3.7align-content 四.项目(子元素)的属性 4.1所有属性概述 4.2order 4…
阅读更多...
九、OpenAI之图片生成(Image generation)

九、OpenAI之图片生成(Image generation)

学习用DALL.E的API怎样生成和操作图片 1 介绍 图片API提供3个方法来和图片进行交互&#xff1a; 从0开始基于文字提示创建图片(DALL.E 3 and DALL.E2)基于一个新的提示词&#xff0c;通过让模型替换已有图像的某些区域来创建图像的编辑版本;&#xff08;DALL.E2&#xff09;…
阅读更多...
判别线性相关七大定理

判别线性相关七大定理

阅读更多...
【FPGA】Verilog：解码器 | 编码器 | 多路复用器（Mux, Multiplexer）

【FPGA】Verilog：解码器 | 编码器 | 多路复用器（Mux, Multiplexer）

0x00 什么是解码器 解码器是根据输入信号在多个输出位中选择一个输出位的装置。例如，当解码器接收2位二进制值作为输入时，它可以接收00、01、10、11四种输入值，并根据每个输入值在4个输出位中选择一个，输出为1000、0100、0010、0001中的一种。这样的解码器被称为高电平有效…
阅读更多...
ICML 2024 Mamba 论文总结

ICML 2024 Mamba 论文总结

2024ICML&#xff08;International Conference on Machine Learning&#xff0c;国际机器学习会议&#xff09;在2024年7月21日-27日在奥地利维也纳举行 &#x1f31f;【紧跟前沿】“时空探索之旅”与你一起探索时空奥秘&#xff01;&#x1f680; 欢迎大家关注时空探索之旅 …
阅读更多...
IntelliJ IDEA常用快捷键 + 动图演示！

IntelliJ IDEA常用快捷键 + 动图演示！

本文参考了 IntelliJ IDEA 的官网&#xff0c;列举了IntelliJ IDEA &#xff08;Windows 版&#xff09; 的所有快捷键。并在此基础上&#xff0c;为 90% 以上的快捷键提供了动图演示&#xff0c;能够直观的看到操作效果。 该快捷键共分 11 种&#xff0c;可以方便的按各类查找…
阅读更多...
【通义千问—Qwen-Agent系列2】案例分析（图像理解图文生成Agent||多模态助手|| 基于ReAct范式的数据分析Agent）

【通义千问—Qwen-Agent系列2】案例分析（图像理解图文生成Agent||多模态助手|| 基于ReAct范式的数据分析Agent）

目录 前言一、快速开始1-1、介绍1-2、安装1-3、开发你自己的Agent 二、基于Qwen-Agent的案例分析2-0、环境安装2-1、图像理解&文本生成Agent2-2、 基于ReAct范式的数据分析Agent2-3、 多模态助手 附录1、agent源码2、router源码 总结 前言 Qwen-Agent是一个开发框架。开发…
阅读更多...
Excel提取某一列的唯一值

Excel提取某一列的唯一值

点击【筛选】&#xff08;【高级筛选】&#xff09;&#xff0c;参数里&#xff1a; 列表区域&#xff1a;为需要选择唯一值的那一列复制到&#xff1a;生成唯一值的目标区域 据说新版本的excel有了unique()函数&#xff0c;可以很快捷的选择某一列的唯一值&#xff0c;但是博…
阅读更多...
仪器校准中移液器的使用规范，应当注意哪些细节？

仪器校准中移液器的使用规范，应当注意哪些细节？

校准行业中&#xff0c;移液器的使用是非常多的&#xff0c;尤其是理化室&#xff0c;经常需要借助到移液器来校准。作为常规的溶液定量转移器具&#xff0c;其在校准过程中的使用也需要遵守规范&#xff0c;既是保证校准结果准确低误差&#xff0c;也是为了规范实验室校准人员…
阅读更多...
类与对象：接口

类与对象：接口

一.概念 接口&#xff08;英文&#xff1a;Interface&#xff09;&#xff0c;在JAVA编程语言中是一个抽象类型&#xff0c;是抽象方法的集合&#xff0c;接口通常以interface来声明。 二.语法规则 与定义类相似&#xff0c;使用interface关键词。 Idea可以在开始时直接创建…
阅读更多...
动静态库

动静态库

说明&#xff1a;使用动静态库&#xff0c;一般直接安装即可&#xff0c;其他使用方法了解即可 静态库 静态库&#xff08;Static Library&#xff09;是一种将代码和数据打包成一个单独的文件的库文件&#xff0c;主要用于编译时的链接&#xff0c;而不是运行时。静态库通常…
阅读更多...
Android Studio 所有历史版本下载

Android Studio 所有历史版本下载

一、官网链接 https://developer.android.google.cn/studio/archive 操作 二、AndroidDevTools地址 https://www.androiddevtools.cn/ 参考 https://blog.csdn.net/qq_27623455/article/details/103008937
阅读更多...
Mybatis源码剖析---第二讲

Mybatis源码剖析---第二讲

Mybatis源码剖析—第二讲 那我们在讲完了mappedstatement这个类&#xff0c;它的一个核心作用之后呢&#xff1f;那下面我有一个问题想问问各位。作为mappedstatement来讲&#xff0c;它封装的是一个select标签或者insert标签。但是呢&#xff0c;我们需要大家注意的是什么&am…
阅读更多...
社交媒体数据恢复：soma messenger

社交媒体数据恢复：soma messenger

步骤1&#xff1a;检查备份文件 首先&#xff0c;我们需要确认您是否已开启Soma Messenger的自动备份功能。若已开启&#xff0c;您可以在备份文件中找到丢失的数据。 步骤2&#xff1a;清除缓存并重启应用 有时候&#xff0c;清除Soma Messenger的缓存文件可以帮助恢复丢失的…
阅读更多...
为什么股票市场里有认贼为父的现象？

为什么股票市场里有认贼为父的现象？

文章大纲&#xff1a;&#xff08;本文2648字&#xff0c;完整版本应该3500以上&#xff0c;耗时一个钟&#xff09; 1、前言&#xff1a;逻辑与博弈 2、直觉引入博弈焦点 3、上周4-5的市场博弈视角 4、下周一视角能看到的东西 5、视角背后看到的情绪周期市场共识下的博弈…
阅读更多...
特殊变量笔记

特殊变量笔记

执行demo4.sh文件,输入输出参数itcast itheima的2个输入参数, 观察效果 特殊变量&#xff1a;$# 语法 $#含义 获取所有输入参数的个数 案例需求 在demo4.sh中输出输入参数个数 演示 编辑demo4.sh, 输出输入参数个数 执行demo4.sh传入参数itcast, itheima, 播仔 看效果…
阅读更多...
销量翻倍不是梦！亚马逊速卖通自养号测评实战技巧分享！

销量翻倍不是梦！亚马逊速卖通自养号测评实战技巧分享！

在亚马逊、速卖通这些跨境电商平台上&#xff0c;卖家们都在想各种办法让自己的产品卖得更好。现在&#xff0c;有一种叫做“自养号测评”的方法特别火。简单来说&#xff0c;就是自己养一些买家账号&#xff0c;然后让这些账号来给你的产品写好评。这样&#xff0c;你的产品就…
阅读更多...
Java的反射机制以及使用场景

Java的反射机制以及使用场景

Java的反射机制以及使用场景 什么是反射Class对象如何使用获取 Class 类对象反射创造对象反射获取类的构造器反射获取类的成员变量反射获取类的方法 反射的应用场景JDBC 的数据库的连接Spring 框架的使用 什么是反射 Oracle 官方对反射的解释 Reflection is commonly used by p…
阅读更多...
从零自制docker-14-【实现 mydocker commit 打包容器成镜像】

从零自制docker-14-【实现 mydocker commit 打包容器成镜像】

文章目录 目标注意exec.Commandtar代码结果 目标 piveroot切换工作目录到/merged后&#xff0c;通过docker commit将此时工作目录的文件系统保存下来&#xff0c;使用tar包将该文件系统打包为tar文件 命令类似 ./mydocker commit myimage然后当前目录下会得到myimage.tar 注意…
阅读更多...
「实用推荐」如何为桌面 移动跨平台应用选择UI框架/APP架构？

「实用推荐」如何为桌面 移动跨平台应用选择UI框架/APP架构？

DevExpress .NET MAUI UI组件库提供了用于Android和iOS移动开发的高性能UI组件&#xff0c;该库包括数据网格、图表、日程、数据编辑器、CollectionView和选项卡组件。 获取DevExpress .NET MAUI最新正式版下载(Q技术交流&#xff1a;532598169&#xff09; “一次编写&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023