书生·浦语大模型实战营第五节课笔记及作业

LMDeploy 大模型量化部署实践

1 大模型部署背景

1.1 模型部署及大模型特点

在这里插入图片描述

1.2 大模型部署挑战及方案

在这里插入图片描述

2 LMDeploy简介

在这里插入图片描述
在这里插入图片描述

2.1 核心功能-量化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 核心功能-推理引擎TurboMind

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.1 核心功能-推理服务api server

在这里插入图片描述

3 动手实践及作业

按照文档LMDeploy 的量化和部署中的步骤在InternStudio中的 A100(1/4) 机器上一步步操作即可!

3.1 基础作业

使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型,生成 300 字的小故事(需截图)

3.1.1 本地对话形式

在这里插入图片描述

3.1.2 API服务形式

在这里插入图片描述

在这里插入图片描述

3.1.3 网页Gradio形式

TurboMind 服务作为后端:
在这里插入图片描述

TurboMind 推理作为后端
在这里插入图片描述

参考文献:

1、文档:LMDeploy 的量化和部署
2、视频:LMDeploy 大模型量化部署实践

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/632680.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【4k】4k的webrtc播放示例

目录 使用带研发角色的账号,在app端设置下分辨率 : 4k 点播 ffplay播放看下详细的参数 使用带研发角色的账号,在app端设置下分辨率 : 4k 点播 ffplay播放看下详细的参数

HBASE学习四:常用命令汇总梳理(包括数据库、zk、hdfs相关操作与配置)

1、服务状态 1、后台查询 hbase shell #进入hbase的shell页面,配置环境变量可直接执行。status #查看当前服务状态status detailed #查看当前详细服务信息,包括master的active和standby信息version 查看版本信息 2、页面查询 http://HMASTERip:16010 #查看master 状态 …

解决Windows下VSCode控制台乱码问题

我们在Windows使用VSCode编写C/C程序时,如果代码中的中文字符串使用的是UTF8编码,且代码内没有设置控制台的输出编码,或者编译时没有指定运行时编码(GCC可以在编译时使用-fexec-charsetGBK来指定运行时的字符串编码;cl…

将AI的潜能转化为人类的福祉

在这个技术迅速发展的时代,AI不仅是一项突破性的技术,更是人类未来的关键。作为一名AI训练师,我的目标不仅仅是开发先进的AI产品,更重要的是让这些产品服务于人类,改善人们的生活。 我相信,AI的真正价值在于…

【征服redis9】快速征服lua脚本

lua脚本,这个名字总让人想歪,不过老外发明名字,我们只能跟着叫了。这个脚本语言在redis里和Nginx里都有用,所以我们就来看一下。 目录 1 lua的介绍与说明 2 lua的基本语句体验 3.Lua的数据结构和高级特性 1 lua的介绍与说明 …

MFC 绘图

目录 MFC中绘图 CPaintDC,封装了在WM_PAINT消息中绘图的绘图设备 CClientDC类,封装了在客户区绘图的绘图设备 CGdiObject类(绘图对象类),封装了各种绘图对象相关的操作 MFC中绘图 Windows绘图需要绘图设备,Win32:…

react + antd:AutoComplete 实现既可以自由输入又能下拉选择

在工作中遇到一个需求,既能下拉选择,有要求可以自由输入没有的选项。 刚开始考虑使用 Select 组件,发现只有多选(mode"tags")的时候才能随意输入内容,但多选又不符合当前的业务需求。 在犹豫要…

Ubuntu防火墙管理

防火墙管理 防火墙是用于监控和过滤传入和传出网络流量的工具。 它通过定义一组确定是允许还是阻止特定流量的安全规则来工作。 Ubuntu 18.04安装了一个称为UFW的防火墙配置工具。 它是用于管理iptables防火墙规则的用户友好型前端。 它的主要目标是使防火墙的管理变得更容易…

pyqtgraph绘图类

pyqtgraph绘图类 pyqtgraph绘图有四种方法: 方法描述pyqtgraph.plot()创建一个新的QWindow用来绘制数据PlotWidget.plot()在已存在的QWidget上绘制数据PlotItem.plot()在已存在的QWidget上绘制数据GraphicsLayout.addPlot()在网格布局中添加一个绘图 上面四个方法都接收同样…

OpenHarmony应用开发-进程间通讯

版本:v3.2 Beta5 进程模型 OpenHarmony的进程模型如下图所示: 应用中(同一包名)的所有UIAbility、ServiceExtensionAbility、DataShareExtensionAbility运行在同一个独立进程中,即图中绿色部分的“Main Process”。…

Linux设备驱动开发学习笔记(等待队列,锁,字符驱动程序,设备树,i2C...)

1. 内核工具和辅助函数 1.1宏container_of container_of函数可以通过结构体的成员变量检索出整个结构体 函数原型: /* pointer 指向结构体字段的指针 container_type 结构体类型 container_field 结构体字段名称 返回值是一个指针 */ container_of(pointer, con…

HPsocket 在 C# 中的运用:一款优秀的 socket 通信框架

摘要:本文将为您详细介绍 HPsocket,一款适用于 win32 平台的 socket 通信框架。同时,我们还将探讨如何在 C# 项目中使用 HPsocket,实现网络通信功能。通过本文,您将深入了解 HPsocket 的特点、优势以及在 C# 中的实际应…

在线App封装技术:HTML5的新生命

HTML5封装的魅力所在HTML5带来了丰富的多媒体功能、地理位置服务、离线存储等特性,使得Web应用的体验更加接近原生App。封装HTML5到App中,可以大大缩短开发周期,降低开发成本,并且一次编写,多平台运行,极大…

MySQL面试题 | 15.精选MySQL面试题

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

.NET Core使用SkiaSharp快速生成二维码( 真正跨平台方案)

前言 在.NET 6之前我们一直是使用QRCoder来生成二维码(QRCoder是一个非常强大的生成二维码的组件,用到了System.Drawing.Common 包),然后从.NET 6开始,当为非 Windows 操作系统编译引用代码时,平台分析器会…

阿里云服务器配置选择之线下IDC直接映射

阿里云服务器配置CPU内存和ECS实例规格如何选择?主要用于线下IDC直接映射,可以选择第七代云服务器ECS计算型c7、通用型g7或内存型r7实例,企业级独享型云服务器,企业级实例采用固定CPU调度模式,每个vCPU绑定到一个物理C…

外汇天眼:Alpha Group International在2023财年实现营收同比增长12%

Alpha Group International plc,一家为企业和机构提供金融解决方案的公司,今天发布了截至2023财年的贸易更新。 营收增长12%,达到1.1亿英镑(2022财年:9830万英镑)。 税前利润增长超过140%,达到…

JVM的演变

Java虚拟机(JVM)是Java语言的核心组成部分,它负责将Java字节码转换为机器码并执行。随着时间的推移,JVM在不同版本的JDK中经历了许多演变和改进。本文将深入浅出地介绍从JDK 7到JDK 21不同主流版本的JVM结构变化及其特性&#xff…

一、RHCE--准备工作

一、RHCE---准备工作 1.修改主机地址(由动态IP地址--> 静态IP地址)第一种:通过命令行的方式第二种:通过vim编辑器修改配置文件的方式第三种:通过图形化的方式: 2.软件安装3.关闭防火墙4.禁用selinux 1.修…

xhr、jQuery、axios、fetch、vue-resource简单了解和对比

1. xhr 不常用(太麻烦),一般进行二次封装,或者使用成型的第三方封装jQuery,axios等。axios和jQuery都是对xhr的封装。 2. jQuery 核心是封装Dom操作,80%的内容都是关于Dom的,Vue和React的使用…