书生 浦语 大模型趣味 Demo

目录

一. 部署 InternLM2-Chat-1.8B 模型进行智能对话

1. 环境准备

2. 下载模型参数

3. 运行Demo

二. 部署实战营 八戒-Chat-1.8B 模型

1. 下载Demo仓库

2. 启动web服务端加载八戒模型:

3. 将SSH远程端口映射到本地

4. 在本地浏览器打开:http://127.0.0.1:6006/

三. 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体

1. 下载代码仓库:

2. 安装

3. 构造软链接

4. 修改examples/internlm2_agent_web_demo_hf.py 文件

5. 运行web服务端程序加载模型

6. web映射到本地

7. 浏览器打开:http://127.0.0.1:6006/

四. 实践部署 浦语·灵笔2 模型

1. 补充环境包

2. 下载代码仓库

3. 构建软链接

4. 启动InternLM-XComposer

5.参考上面小结的启动 SSH映射端口到本地,并开启web界面

6. 图片理解实战


一. 部署 InternLM2-Chat-1.8B 模型进行智能对话

1. 环境准备

创建conda 环境

studio-conda -o internlm-base -t demo

安装库:

pip install huggingface-hub==0.17.3 transformers==4.34 psutil==5.9.8 accelerate==0.24.1 streamlit==1.32.2 matplotlib==3.8.3 modelscope==1.9.5 sentencepiece==0.1.99

2. 下载模型参数

首先创建文件夹

编写下载脚本文件

执行脚本文件下载:

python download_mini.py

编辑cli demo脚本文件

3. 运行Demo

让它 帮我们 创作一个300字的小故事

二. 部署实战营 八戒-Chat-1.8B 模型

1. 下载Demo仓库

git clone https://gitee.com/InternLM/Tutorial -b camp2

下载八戒模型:python Tutorial/helloworld/bajie_download.py

2. 启动web服务端加载八戒模型:

streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

3. 将SSH远程端口映射到本地

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38995

4. 在本地浏览器打开:http://127.0.0.1:6006/

三. 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体

1. 下载代码仓库:

git clone https://gitee.com/internlm/lagent.git

切换到相应commit上:

git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac

2. 安装

 pip install -e .

3. 构造软链接

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

4. 修改examples/internlm2_agent_web_demo_hf.py 文件

修改为:

value='/root/models/internlm2-chat-7b'

5. 运行web服务端程序加载模型

streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

6. web映射到本地

7. 浏览器打开:http://127.0.0.1:6006/

四. 实践部署 浦语·灵笔2 模型

1. 补充环境包

pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5

2. 下载代码仓库

git clone https://gitee.com/internlm/InternLM-XComposer.git

并切换到对应commit上

3. 构建软链接

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b

4. 启动InternLM-XComposer

python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

5.参考上面小结的启动 SSH映射端口到本地,并开启web界面

6. 图片理解实战

关闭上面启动程序,重新运行

python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006

打开web页面:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/787957.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ECOLOGY文档发布后发现有错漏解决方案

OAECOLOGY文档发布后发现有错漏解决方案 1、从流程查到文档ID select docids from workflow_requestbase where requestid4176374 docids=2649858 2、从文档ID查到并验证文档是否正确。 select * from docdetail where id2649858 3、从文档ID…

Python抓取抖音直播间数据:技术探索与实践

目录 一、引言 二、技术准备 三、分析抖音直播间网页结构 四、编写爬虫代码 五、处理反爬虫机制 六、数据清洗与存储 七、总结 一、引言 随着互联网的快速发展,直播行业已成为当下的热门领域。抖音作为其中的佼佼者,吸引了大量的用户和主播。对于…

Windows中Microsoft Edge兼容性问题修复方案

针对Microsoft Edge浏览器在Windows系统中出现的兼容性问题解决步骤和策略: 作者是更改了注册表解决的,问题不一,大家遇到兼容性问题先按照第7个情况进行设置,大部分人是这个情况! 清理缓存和Cookies 按快捷键:ctrlshi…

元宇宙虚拟空间的场景构造(二)

前言 该文章主要讲元宇宙虚拟空间的场景构造,基本核心技术点,不多说,直接引入正题。 场景的构造 使用引入的天空模块 this.sky new Sky(this); 在Sky模块里,有设置对其中的阳光进行不同时间段的光线处理。而天空又是怎么样的…

STM32 DWT数据观察触发器作为延时函数的使用

STM32 DWT数据观察触发器作为延时函数的使用 📑DWT(Data Watchpoint and Trace数据观察触发器)描述 📝DWT是属于处理器内核单元中的调试组件之一,由四个比较器组成。它们可配置为:硬件监视点或对ETM或PC采样器或数据地…

dcoker 下redis设置密码

修改Docker里面Redis密码 Redis是一个开源的内存数据结构存储系统,常用于缓存、消息队列和数据持久化等场景。在使用Docker部署Redis时,默认情况下是没有设置密码的,这可能会导致安全隐患。因此,为了保证数据的安全性&…

高性能服务系列【十二】终篇:等待的代价

上一篇《主题匹配》入选CSDN的区块链领域内容榜,最早我看到的时候是排行榜34名,写这篇文章的时候已经落到了46名。虽然我没有觉得和区域链有什么关系,估计入选的原因是那篇文章涉及到几个算法吧。 在整个高性能服务系列中,我很少…

蓝桥杯真题Day44 倒计时10天 练了六道真题 !

[蓝桥杯 2020 省 B2] 平面切分 题目描述 平面上有 N 条直线, 其中第 i 条直线是 yAi​⋅xBi​ 。请计算这些直线将平面分成了几个部分。 输入格式 第一行包含一个整数 N。 以下 N 行, 每行包含两个整数 Ai​,Bi​。 输出格式 一个整数代表答案。 代码表示 #include<…

基于SpringBoot的图书馆管理系统设计与实现

介绍 基于&#xff1a;java8 SpringBoot thymeleaf MySQL8.0.17 mybatis-plus maven Xadmin 实现图书馆管理系统 系统要实现如下的基本管理功能&#xff1a; &#xff08;1&#xff09;用户分为两类&#xff1a;管理员&#xff0c;一般用户。 &#xff08;2&#xff09…

java利用多线程,线程池加快任务处理时间,等待所有线程结束,数据统一处理

遇到了业务上处理很慢的情况&#xff0c;都可以用多线程解决&#xff0c;这是原先未优化的代码 /*** 导出excel*/GetMapping("/export/excel")ApiOperationSupport(order 11)ApiOperation(value "导出excel", notes "传入gaugeRecord")public…

Day57:WEB攻防-SSRF服务端请求Gopher伪协议无回显利用黑白盒挖掘业务功能点

目录 SSRF-原理&挖掘&利用&修复 SSRF无回显解决办法 SSRF漏洞挖掘 SSRF协议利用 http:// &#xff08;常用&#xff09; file:/// &#xff08;常用&#xff09; dict:// &#xff08;常用&#xff09; sftp:// ldap:// tftp:// gopher:// &#xff08;…

群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务

文章目录 1. 拉取相关的Docker镜像2. 运行Ollama 镜像3. 运行Chatbot Ollama镜像4. 本地访问5. 群晖安装Cpolar6. 配置公网地址7. 公网访问8. 固定公网地址 随着ChatGPT 和open Sora 的热度剧增,大语言模型时代,开启了AI新篇章,大语言模型的应用非常广泛&#xff0c;包括聊天机…

Nginx漏洞之未授权访问和源码泄漏漏洞处理

一、漏洞描述 某次安全扫描&#xff0c;发现某平台存在资源&#xff1a;未授权访问和源码泄漏&#xff1b;攻击者可能获取到网站的配置文件、敏感数据存储位置和访问凭证等信息。这意味着攻击者可以获得对网站的完全或部分控制权&#xff0c;进而进行恶意篡改、删除或添加恶意…

6.8物联网RK3399项目开发实录-驱动开发之RTC实时时钟的使用(wulianjishu666)

90款行业常用传感器单片机程序及资料【stm32,stc89c52,arduino适用】 链接&#xff1a;https://pan.baidu.com/s/1M3u8lcznKuXfN8NRoLYtTA?pwdc53f RTC 使用 简介 AIO-3399J 开发板上有 一个集成于 RK808 上的RTC(Real Time Clock)&#xff0c;主要功能有时钟&#xff0c…

Matlab安装完成后打开后闪退

官方解决办法&#xff0c;英文看着费劲 其中Problem #2和Problem #4大概率能解决问题我是使用Problem #4解决的&#xff0c;引发原因是Problem #3加密软件导致&#xff0c;只能先命令行再desktop才能打开软件 知乎绵绵给出的方法&#xff0c;和官方解决相同但是中文

【PowerDesigner】PGSQL反向工程过程已中断

问题 反向工程过程已中断,原因是某些字符无法通过ANSI–&#xff1e;UTF-16转换进行映射。pg导入sql时报错&#xff0c;一查询是power designer 反向工程过程已中断&#xff0c;某些字符无法通过ANSI–>UTF-16转换进行映射&#xff08;会导致数据丢失&#xff09; 处理 注…

代码随想录第28天| 131.分割回文串 93.复原IP地址 78.子集

131.分割回文串 131. 分割回文串 - 力扣&#xff08;LeetCode&#xff09; 代码随想录 (programmercarl.com) 带你学透回溯算法-分割回文串&#xff08;对应力扣题目&#xff1a;131.分割回文串&#xff09;| 回溯法精讲&#xff01;_哔哩哔哩_bilibili 给你一个字符串 s&…

armbian等linux系统修改fstab实现开机自动挂载磁盘(详解)

当 Linux 操作系统启动时&#xff0c;它会尝试挂载您的硬盘和其他存储设备上的分区。为了实现这一目标&#xff0c;系统使用 /etc/fstab 文件来确定应该如何挂载文件系统。/etc/fstab 文件是一个文本文件&#xff0c;包含了在系统引导期间将要挂载的所有文件系统的定义。它通过…

关于投标的细节

第一点&#xff1a; 进来的时候记住到达时间&#xff0c;这个时间只能是个参考。签到表时间填写要符合逻辑性&#xff0c;就是来的比你早的到达时间一定比你的晚&#xff0c;来的比你晚的到达时间一定比你迟。优先考虑的是先后而不是真实到达时间。除非你是第一个填写的 第二点…

如何创建自己的 Spring Boot Starter 并为其编写单元测试

当我们想要封装一些自定义功能给别人使用的时候&#xff0c;创建Spring Boot Starter的形式是最好的实现方式。如果您还不会构建自己的Spring Boot Starter的话&#xff0c;本文将带你一起创建一个自己的Spring Boot Starter。 快速入门 创建一个新的 Maven 项目。第三方封装的…