【InternLM 实战营第二期笔记】InternLM1.8B浦语大模型趣味 Demo

体验环境

平台：InternStudio

GPU：10%

配置基础环境

studio-conda -o internlm-base -t demo

与 studio-conda 等效的配置方案

conda create -n demo python==3.10 -y
conda activate demo
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

激活环境

conda activate demo

部署 InternLM2-Chat-1.8B 模型进行智能对话

安装依赖包

pip install huggingface-hub==0.17.3
pip install transformers==4.34 
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2 
pip install matplotlib==3.8.3 
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99

下载模型

mkdir -p /root/demo
touch /root/demo/cli_demo.py
touch /root/demo/download_mini.py
cd /root/demo

编辑/root/demo/download_mini.py文件

注：如果使用InternStudio平台进行实验不建议花费时间和空间去下载模型，可以直接使用/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/目录下的模型进行实验

vim /root/demo/download_mini.py

下载模型的脚本内容

import os
from modelscope.hub.snapshot_download import snapshot_download# 创建保存模型目录
os.system("mkdir /root/models")# save_dir是模型保存到本地的目录
save_dir="/root/models"snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b", cache_dir=save_dir, revision='v1.1.0')

执行下载命令

python /root/demo/download_mini.py

编辑cli_demo.py

vim cli_demo.py

运行cli_demo.py

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM#model_name_or_path = "/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b" #如果自己下载模型的话使用这一条，注释后一条
model_name_or_path = "/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/"tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""messages = [(system_prompt, '')]print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")while True:input_text = input("\nUser  >>> ")input_text = input_text.replace(' ', '')if input_text == "exit":breaklength = 0for response, _ in model.stream_chat(tokenizer, input_text, messages):if response is not None:print(response[length:], flush=True, end="")length = len(response)

执行cli_demo.py

python cli_demo.py

运行结果：

输入exit结束聊天

部署实战营优秀作品 八戒-Chat-1.8B 模型

八戒-Chat-1.8B、Chat-嬛嬛-1.8B、Mini-Horo-巧耳均是在第一期实战营中运用InternLM2-Chat-1.8B模型进行微调训练的优秀成果。其中，八戒-Chat-1.8B是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为Roleplay-with-XiYou子项目之一，八戒-Chat-1.8B能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。

其他优秀实战营项目链接

  • 八戒-Chat-1.8B：https://www.modelscope.cn/models/JimmyMa99/BaJie-Chat-mini/summary
  • Chat-嬛嬛-1.8B：https://openxlab.org.cn/models/detail/BYCJS/huanhuan-chat-internlm2-1_8b
  • Mini-Horo-巧耳：https://openxlab.org.cn/models/detail/SaaRaaS/Horowag_Mini

克隆八戒代码仓

cd /root/
git clone https://gitee.com/InternLM/Tutorial -b camp2

下载运行

python /root/Tutorial/helloworld/bajie_download.py

运行

streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

本地映射端口的命令

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374

运行结果：

使用 Lagent 运行 InternLM2-Chat-7B 模型

注：这一节课程需要切换环境使用 30% A100

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:

Lagent 的特性总结如下：

  • 流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。
  • 接口统一，设计全面升级，提升拓展性，包括：
    • Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
    • Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；
    • Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
  • 文档全面升级，API 文档全覆盖。

配置基础环境

重新开启开发机，输入命令，开启 conda 环境

conda activate demo

进入文件夹

cd /root/demo

使用 git 命令下载 Lagent 相关的代码库：

git clone https://gitee.com/internlm/lagent.git
cd /root/demo/lagent

切换分支

git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac

源码安装

pip install -e . # 源码安装

使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体

进入lagent目录

cd /root/demo/lagent

软链接模型目录

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

修改examples/internlm2_agent_web_demo_hf.py文件

代码内容：

# 其他代码...
value='/root/models/internlm2-chat-7b'   #修改为模型目录
# 其他代码...

运行命令

streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

实践结果

输入命令：请解方程 2*X=1360 之中 X 的结果

实践部署 浦语·灵笔2 模型

介绍

浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：

  • 自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
  • 准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
  • 杰出的综合能力： 浦语·灵笔2-7B 基于 书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。

环境

选用 50% A100 进行开发：

安装依赖

conda activate demo
pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5

下载InternLM-XComposer 仓库相关的代码资源

cd /root/demo

克隆代码仓

git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626

构造模型软链接

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b

图文写作实战

启动命令

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

运行界面

图片理解实战

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006

打开 http://127.0.0.1:6006 (上传图片后) 键入内容示例如下：

请分析一下图中内容

作业

基础作业 (结营必做)

使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事（需截图）

进阶作业 (优秀学员必做)

熟悉 huggingface 下载功能，使用 huggingface_hub python 包，下载 InternLM2-Chat-7B 的 config.json 文件到本地（需截图下载过程）

脚本内容

import os 
from huggingface_hub import hf_hub_download  # Load model directly hf_hub_download(repo_id="internlm/internlm-7b", filename="config.json")

完成 浦语·灵笔2 的 图文创作 及 视觉问答 部署（需截图）

图文创作

视觉问答

完成 Lagent 工具调用 数据分析 Demo 部署（需截图）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/784370.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Tidb和MySQL性能简单测试对比

Tidb和MySQL性能简单测试对比

一、单SQL性能对比 由于TiDB的并发能力优秀，但是单个SQL执行延迟较差，为了客观对比，所以只用1个线程来压测tidb和mysql，以观察延迟情况 二、并发SQL性能对比 TiDB:v6.5.2 MySQL:8.0.26 （单机） 三、结论 …
阅读更多...
155 Linux C++ 通讯架构实战10，工具telent 和 wireshark的使用

155 Linux C++ 通讯架构实战10，工具telent 和 wireshark的使用

telnet工具使用介绍 windows 上开启telnet linux 上开始telnet 使用telnet //是一款命令行方式运行的客户端TCP通讯工具，可以连接到服务器端，往服务器端发送数据，也可以接收从服务器端发送过来的信息； //类似nginx5_1_1_clie…
阅读更多...
上位机图像处理和嵌入式模块部署（qmacvisual形状匹配）

上位机图像处理和嵌入式模块部署（qmacvisual形状匹配）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 在qmacvisual软件当中，提供了两种模板匹配的方法。除了前面介绍的灰度匹配，就是今天讲的形状匹配。当然，对于使…
阅读更多...
嵌入式linux学习之opencv交叉编译

嵌入式linux学习之opencv交叉编译

1.下载opencv源码 OpenCV官方源码下载链接为https://opencv.org/releases/，选择3.4.16版本下载。放在ubuntu系统~/opencv文件夹中，解压缩，opencv文件夹中新建build和install文件夹用于存放编译文件和安装文件： 2. 安装编译工具…
阅读更多...
设计模式学习笔记 - 设计模式与范式 -行为型：2.观察者模式（下）：实现一个异步非阻塞的EventBus框架

设计模式学习笔记 - 设计模式与范式 -行为型：2.观察者模式（下）：实现一个异步非阻塞的EventBus框架

概述 《1.观察者模式（上）》我们学习了观察者模式的原理、实现、应用场景，重点节介绍了不同应用场景下，几种不同的实现方式，包括：同步阻塞、异步非阻塞、进程内、进程间的实现方式。 同步阻塞最经典的实现…
阅读更多...
最优算法100例之18-列升序行升序的数组中查找元素

最优算法100例之18-列升序行升序的数组中查找元素

专栏主页：计算机专业基础知识总结（适用于期末复习考研刷题求职面试）系列文章https://blog.csdn.net/seeker1994/category_12585732.html 题目描述 在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样一…
阅读更多...
AI绘画教程：Midjourney使用方法与技巧从入门到精通

AI绘画教程：Midjourney使用方法与技巧从入门到精通

文章目录 一、《AI绘画教程：Midjourney使用方法与技巧从入门到精通》二、内容介绍三、作者介绍🌤️粉丝福利 一、《AI绘画教程：Midjourney使用方法与技巧从入门到精通》 一本书读懂Midjourney绘画，让创意更简单，让设计…
阅读更多...
[图像处理] MFC载入图片并进行二值化处理和灰度处理及其效果显示

[图像处理] MFC载入图片并进行二值化处理和灰度处理及其效果显示

文章目录 工程效果重要代码完整代码参考 工程效果 载入图片，并在左侧显示原始图片、二值化图片和灰度图片。 双击左侧的图片控件，可以在右侧的大控件中，显示双击的图片。 初始画面： 载入图片： 双击左侧的第二个控件…
阅读更多...
随便注【强网杯2019】

随便注【强网杯2019】

大佬的完整wp：buuctf-web-[强网杯 2019]随便注-wp_取材于某次真实环境渗透,只说一句话:开发和安全缺一不可-CSDN博客 知识点： 单引号字符型绕过堆叠注入 可以执行多条语句multi_query()：该函数可能引发堆叠注入handler用法 mysql专属&#…
阅读更多...
Linux之进程间通信

Linux之进程间通信

1.进程间通信的目的 数据传输：一个进程需要将它的数据发送给另一个进程 资源共享：多个进程之间共享同样的资源。 通知事件：一个进程需要向另一个或一组进程发送消息，通知它（它们）发生了某种事件&#xff…
阅读更多...
Rabbit简单模式理解

Rabbit简单模式理解

简单模式 我们以最普通的方式去理解&#xff0c;并没有整合Springboot的那种 这是最简单的模式&#xff0c;一个生产者&#xff0c;一个消费者&#xff0c;一个队列 测试 1、 导包&#xff0c;没整合&#xff0c;不需要编写配置 2、需要生产者消费者 导包 <dependency…
阅读更多...
【SpringCloud】Eureka注册中心

【SpringCloud】Eureka注册中心

目 录 一.Eureka的结构和作用二.搭建 eureka-server1. 创建 eureka-server 服务2. 引入 eureka 依赖3. 编写启动类4. 编写配置文件5. 启动服务 三.服务注册1. 引入依赖2. 配置文件3. 启动多个user-service实例 四.服务发现1. 引入依赖2. 配置文件3. 服务拉取和负载均衡 总结 假…
阅读更多...
Optimizer神经网络中各种优化器介绍

Optimizer神经网络中各种优化器介绍

1. SGD 1.1 batch-GD 每次更新使用全部的样本&#xff0c;注意会对所有的样本取均值&#xff0c;这样每次更新的速度慢。计算量大。 1.2 SGD 每次随机取一个样本。这样更新速度更快。SGD算法在于每次只去拟合一个训练样本&#xff0c;这使得在梯度下降过程中不需去用所有训…
阅读更多...
阿里云通用算力型u1云服务器配置性能评测及价格参考

阿里云通用算力型u1云服务器配置性能评测及价格参考

阿里云服务器u1是通用算力型云服务器&#xff0c;CPU采用2.5 GHz主频的Intel(R) Xeon(R) Platinum处理器&#xff0c;ECS通用算力型u1云服务器不适用于游戏和高频交易等需要极致性能的应用场景及对业务性能一致性有强诉求的应用场景(比如业务HA场景主备机需要性能一致)&#xf…
阅读更多...
【数据结构】括号匹配问题你学会了吗？来刷刷题检验一下吧！！！

【数据结构】括号匹配问题你学会了吗？来刷刷题检验一下吧！！！

栈在括号问题中的应用 导言一、有效的括号——栈、字符串——简单1.1 题目要求与分析1.2 代码实现 二、 最长有效括号——栈、字符串、动态规划——困难2.1 题目要求与分析2.2 问题解析2.2.1 如何计算有效括号的个数2.2.2 如何记录了连续括号的长度2.2.3 如何寻找最长的子串 2.…
阅读更多...
二十四种设计模式与六大设计原则（三）：【装饰模式、迭代器模式、组合模式、观察者模式、责任链模式、访问者模式】的定义、举例说明、核心思想、适用场景和优缺点

二十四种设计模式与六大设计原则（三）：【装饰模式、迭代器模式、组合模式、观察者模式、责任链模式、访问者模式】的定义、举例说明、核心思想、适用场景和优缺点

接上次博客&#xff1a;二十四种设计模式与六大设计原则&#xff08;二&#xff09;&#xff1a;【门面模式、适配器模式、模板方法模式、建造者模式、桥梁模式、命令模式】的定义、举例说明、核心思想、适用场景和优缺点-CSDN博客 目录 装饰模式【Decorator Pattern】 定义…
阅读更多...
C语言——内存函数

C语言——内存函数

前言&#xff1a; C语言中除了字符串函数和字符函数外&#xff0c;还有一些函数可以直接对内存进行操作&#xff0c;这些函数被称为内存函数&#xff0c;这些函数与字符串函数都属于<string.h>这个头文件中。 一.memcpy&#xff08;&#xff09;函数 memcpy是C语言中的…
阅读更多...
【智能算法】霜冰优化算法（RIME）原理及实现

【智能算法】霜冰优化算法（RIME）原理及实现

目录 1.背景2.算法原理2.1算法思想2.2算法过程 3.结果展示4.参考文献 1.背景 2023年&#xff0c;H Su等人受到自然界霜冰生长机制启发&#xff0c;提出了霜冰优化算法&#xff08;Rime Optimization Algorithm, RIME&#xff09;。 2.算法原理 2.1算法思想 RIME模拟软霜颗粒…
阅读更多...
【Laravel】06 数据库迁移工具migration

【Laravel】06 数据库迁移工具migration

【Laravel】06 数据库迁移工具migration 1.migration文件目录2. 举例 1.migration文件目录 2. 举例 (base) ➜ example-app php artisan migrate Migration table created successfully. Migrating: 2014_10_12_000000_create_users_table Migrated: 2014_10_12_000000_crea…
阅读更多...
HTTP/1.1、HTTP/2、HTTP/3 演变（计算机网络）

HTTP/1.1、HTTP/2、HTTP/3 演变（计算机网络）

HTTP/1.1 相比 HTTP/1.0 提高了什么性能&#xff1f; HTTP/1.1 相比 HTTP/1.0 性能上的改进&#xff1a; 使用长连接改善了短连接造成的性能开销。支持管道网络传输&#xff0c;只要第一个请求发出去了&#xff0c;不必等其回来&#xff0c;就可以发第二个请求出去&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023