书生·浦语大模型实战营-学习笔记5

LMDeploy 大模型量化部署实践

在这里插入图片描述

在这里插入图片描述

大模型部署背景


在这里插入图片描述

LMDeploy简介

轻量化、推理引擎、服务
在这里插入图片描述
在这里插入图片描述

核心功能-量化

显存消耗变少了
在这里插入图片描述
在这里插入图片描述
大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder

先把数据量化为INT4存起来，算的时候会反量化为FP16
在这里插入图片描述
AWQ算法：观察到模型在推理过程中，只有一小部分参数是重要的参数，这部分参数不量化，其他的参数量化，这样保留了显存，性能也不会下降多少

核心功能-推理引擎

在这里插入图片描述
不用等到整个batch结束
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

核心功能-推理服务api server

在这里插入图片描述

动手实践环节

https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/644398.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Angular组件(一) 分割面板ShrinkSplitter

Angular组件(一) 分割面板ShrinkSplitter

Angular组件(一) 分割面板ShrinkSplitter 前言 分割面板在日常开发中经常使用，可将一片区域，分割为可以拖拽整宽度或高度的两部分区域。模仿iview的分割面板组件，用angular实现该功能，支持拖拽和[(ngModel)]双向绑定的方式控制区…
阅读更多...
Docker容器引擎(2)

Docker容器引擎(2)

目录 一.批量删除镜像，容器 二.Docker 网络实现原理 随机映射端口（从32768开始） 访问自己： 在10服务器上配置路由转发： 指定映射端口： 查看容器的输出和日志信息： 将宿主机目标|文件挂载…
阅读更多...
RabbitMQ中交换机的应用及原理，案例的实现

RabbitMQ中交换机的应用及原理，案例的实现

目录 一、介绍 1. 概述 2. 作用及优势 3. 工作原理 二、交换机Exchange 1. Direct 2. Topic 3. Fanout 三、代码案例 消费者代码 1. 直连direct 生产者代码 测试 2. 主题topic 生产者代码 测试 3. 扇形fanout 生产者代码 测试 每篇一获 一、介绍 1. …
阅读更多...
Vue的生命周期方法

Vue的生命周期方法

beforeCreate 在实例初始化之后，数据观测（data observe）和 event/watcher 事件配置之前被调用。在当前阶段 data、methods、computed 以及 watch 上的数据和方法都不能被访问。 created 实例已经创建完成之后被调用。在这一步，实…
阅读更多...
【JavaEE进阶】 MyBatis使用注解实现增删改查

【JavaEE进阶】 MyBatis使用注解实现增删改查

文章目录 🍃前言🌴传递参数🎋增(Insert)🚩返回主键 🎄删(Delete)🌲改(Update)🌳查(Select)🚩起别名🚩结果映射🚩开启驼峰命名(推荐使用) ⭕总结 &#x1f343…
阅读更多...
[UI5 常用控件] 01.Text

[UI5 常用控件] 01.Text

文章目录 前言1. 普通文本2. 长文本：3. 设置最大显示行数 ( maxLines3 )4. 单行显示 ( wrappingfalse )5. 显示空白符 ( renderWhitespacetrue )6. 使用 - 连接单词:只适用于英文 ( wrappingTypeHyphenated )7. 空白时使用 - 代替 ( emptyIndicatorModeOn )8. JSON数…
阅读更多...
2024年需要重点关注的15种计算机病毒

2024年需要重点关注的15种计算机病毒

2024年，计算机病毒威胁变得愈发多元化和复杂化。涉及勒索病毒、二维码病毒、挖矿木马等15种类型，这些病毒从数据勒索到系统入侵，对全球网络安全构成严峻挑战。 2024年，计算机病毒威胁变得愈发多元化和复杂化。涉及勒索病毒、二维码…
阅读更多...
【网络安全】常见的网络威胁有哪些？

【网络安全】常见的网络威胁有哪些？

随着互联网的快速发展，网络安全问题日益凸显。常见的网络威胁包括病毒、木马、恶意软件等。这些威胁不仅会影响计算机的安全运行，还会窃取用户的个人信息，造成巨大的损失。因此，我们需要采取一些措施来保护自己的网络安全。 常见的…
阅读更多...
android 图片添加水印

android 图片添加水印

android 图片添加水印 本文主要讲下android 中如何给图片添加水印. 在Android中给图片添加水印可以使用Bitmap、Matrix和Canvas类的方法来实现. private Bitmap addWater() {// 加载原始图片Bitmap sourceBitmap BitmapFactory.decodeResource(getResources(), R.mipmap.sou…
阅读更多...
Vue+OpenLayers7：OpenLayers7地图初始化时如何设置默认缩放级别、设置默认地图中心点、最大缩放级别和最小缩放级别以及默认坐标系

Vue+OpenLayers7：OpenLayers7地图初始化时如何设置默认缩放级别、设置默认地图中心点、最大缩放级别和最小缩放级别以及默认坐标系

返回《Vue+OpenLayers7》专栏目录：Vue+OpenLayers7 本章讲解OpenLayers7地图初始化时如何设置默认缩放级别、设置默认地图中心点、最大缩放级别和最小缩放级别以及默认坐标系等配置。 前言 OpenLayers7地图初始化时如何设置默认缩放级别、初始化时设置默认地图中心点、设置…
阅读更多...
启动mitmproxy报错 ImportError: cannot import name ‘url_quote‘ from ‘werkzeug.urls‘

启动mitmproxy报错 ImportError: cannot import name ‘url_quote‘ from ‘werkzeug.urls‘

报错截图 ImportError: cannot import name url_quote from werkzeug.urls (d:\soft\python\python38\lib\site-packages\werkzeug\urls.py) 原因是Werkzeug版本不兼容导致 解决方法 pip install Werkzeug2.2.2
阅读更多...
大数据学习之Flink算子、了解（Source）源算子（基础篇二）

大数据学习之Flink算子、了解（Source）源算子（基础篇二）

Source源算子（基础篇二） 目录 Source源算子（基础篇二） 二、源算子（source） 1. 准备工作 2.从集合中读取数据 可以使用代码中的fromCollection()方法直接读取列表 也可以使用代码中的fromElements()方…
阅读更多...
北斗短报文DTU 北斗通信DTU无线数传终端

北斗短报文DTU 北斗通信DTU无线数传终端

北斗是我国自主建设的卫星导航系统，被广泛应用于全球定位、导航和时间同步等领域。随着物联网的迅猛发展，北斗短报文DTU作为物联网连接的关键技术，成为了各行各业的热门话题。 ** 一、北斗短报文DTU的概念与特点 ** 　　北斗短报文DTU(Data…
阅读更多...
二叉树知识

二叉树知识

提示：文章 文章目录 前言一、背景二、 2.1 2.2 总结 前言 前期疑问： 本文目标： 一、背景 二、二叉树初始知识 题目 源于做的一道牛课题 若一颗完全二叉树中某节点无左孩子，则该节点是 A、高度为1的节点 B、高度为2的节点…
阅读更多...
Redis持久化和集群架构

Redis持久化和集群架构

目录 Redis持久化 RDB快照（snapshot） RDB优点 RDB缺点 RDB的触发机制 AOF持久化 AOF文件重写 AOF触发机制 混合模式 Redis主从架构 Redis哨兵高可用架构 Redis Cluster架构 槽位定位算法 跳转重定位 Redis集群节点间的通信机制 Redis持久化…
阅读更多...
在 MATLAB 中注释多行

在 MATLAB 中注释多行

使用 MATLAB 中的注释块注释多行代码 要注释一行或两行代码，我们可以使用%字符来完成。但是，如果我们必须注释多行代码，则此方法将花费大量时间。我们可以使用注释块来注释多行代码，而不是使用%来注释多行代码。写在该块中的任何…
阅读更多...
【数学建模】综合评价方法

【数学建模】综合评价方法

文章目录 综合评价的基本理论和数据预处理综合评价的基本概念综合评价体系的构建综合指标的预处理方法评价指标预处理示例 常用的综合评价数学模型线性加权综合评价模型TOPSIS法灰色关联度分析熵值法秩和比（RSR）法综合评价示例 综合评价的基本理论和数据…
阅读更多...
【学网攻】 第(3)节 -- 交换机配置聚合端口

【学网攻】 第(3)节 -- 交换机配置聚合端口

文章目录 【学网攻】 第(1)节 -- 认识网络【学网攻】 第(2)节 -- 交换机认识及使用 前言 网络已经成为了我们生活中不可或缺的一部分，它连接了世界各地的人们，让信息和资源得以自由流动。随着互联网的发展，我们可以通过网络学习、工作、娱乐…
阅读更多...
精品基于Uniapp+springboot自习室预约系统App教室阅览室

精品基于Uniapp+springboot自习室预约系统App教室阅览室

《[含文档PPT源码等]精品基于Uniappspringboot自习室预约系统App》该项目含有源码、文档、PPT、配套开发软件、软件安装教程、项目发布教程、包运行成功！ 软件开发环境及开发工具： 开发语言：Java 后台框架：springboot、ssm 安…
阅读更多...
【数据库连接】连接sqlite3报错：go-sqlite3 requires cgo to work. This is a stub

【数据库连接】连接sqlite3报错：go-sqlite3 requires cgo to work. This is a stub

报错信息 register db Ping default, Binary was compiled with ‘CGO_ENABLED0’, go-sqlite3 requires cgo to work. This is a stubWindows解决办法 新建环境变量 新报错 Failed to build the application: # runtime/cgo cgo: C compiler “gcc” not found: exec: “gc…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023