大模型量化技术原理-SmoothQuant

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
模型压缩主要分为如下几类：

  • 剪枝（Pruning）
  • 知识蒸馏（Knowledge Distillation）
  • 量化Quantization）

本系列将针对一些常见大模型量化方案（GPTQ、LLM.int8()、SmoothQuant、AWQ等）进行讲述。

  • 大模型量化概述
  • 量化感知训练：
    • 大模型量化感知训练技术原理：LLM-QAT
    • 大模型量化感知微调技术原理：QLoRA
  • 训练后量化：
    • 大模型量化技术原理：GPTQ、LLM.int8()
    • 大模型量化技术原理：SmoothQuant
    • 大模型量化技术原理：AWQ、AutoAWQ
    • 大模型量化技术原理：SpQR
    • 大模型量化技术原理：ZeroQuant系列
  • 大模型量化技术原理：总结

而本文主要针对大模型量化技术 SmoothQuant 进行讲述。

另外，我撰写的大模型相关的博客及配套代码均整理放置在Github：llm-action，有需要的朋友自取。

背景

LLM.int8() 发现当 LLMs 的模型参数量超过 6.7B 的时候，激活中会成片的出现大幅的离群点(outliers)，朴素且高效的量化方法（W8A8、ZeroQuant等）会导致量化误差增大，精度下降。

image.png

但好在新出现的离群特征（Emergent Features）的分布是有规律的。通常，这些离群特征只分布在 Transformer 层的少数几个维度。针对这个问题，LLM.int8() 采用了混合精度分解计算的方式（离群点和其对应的权重使用 FP16 计算，其他量化成 INT8 后计算）。虽然能确保精度损失较小，但由于需要运行时进行异常值检测、scattering 和 gathering，导致它比 FP16 推理慢。

image.png

这些激活上的离群点会出现在几乎所有的 token 上但是局限于隐层维度上的固定的 channel 中；给定一个 token，不同 channels 间的方差会很大，但是对于不同的 token，相同 channel 内的方差很小。考虑到激活中的这些离群点通常是其他激活值的 100 倍，这使得激活量化变得困难。

以上是大模型量化困难的原因，总结下来就三点：

  • 激活比权重更难量化（之前的工作LLM.int8()表明，使用 INT8 甚至 INT4 量化 LLM 的权重不会降低准确性。）
  • 异常值让激活量化更困难（激活异常值比大多数激活值大约 100 倍。 如果我们使用 INT8 量化，大多数值将被清零。）
  • 异常值持续存在于固定的通道（channel）中（固定通道存在异常值，并且异常值通道值较大）

image.png

根据量化参数s(数据量化的间隔)和z(数据偏移的偏置)的共享范围，即量化粒度的不同，量化方法可以分为逐层量化（per-tensor）、逐通道（per-token & per-channel 或者 vector-wise quantization ）量化和逐组量化（per-group、Group-wise）。

image.png

作者对比了 per-channel、per-token、per-tensor 激活量化方案。在这几种不同的激活量化方案中。per-tensor量化是最高效的实现方式。但只有逐通道量化（per-channel）保留了精度，因它与 INT8 GEMM 内核不兼容。即per-channel量化不能很好地映射到硬件加速的GEMM内核（硬件不能高效执行，从而增加了计算时间）。

image.png

为了进行 vector-wise quantization 以有效利用 INT8 GEMM 内核，我们只能使用外部维度（即Token维度 T 和 通道外维度 C 0 C_0 C0​）的缩放因子，不能使用内部维度（即通道内维度 C i C_i Ci​），因此，先前的工作对激活都采用了per-token量化，但并不能降低激活的难度。

于是 SmoothQuant 提出了一种数学上等价的逐通道缩放变换（per-channel scaling transformation），可显著平滑通道间的幅度，从而使模型易于量化，保持精度的同时，还能够保证推理提升推理速度。

image.png

SmoothQuant 技术原理

SmoothQuant （论文：SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models）是一种同时确保准确率且推理高效的训练后量化 (PTQ) 方法，可实现 8 比特权重、8 比特激活 (W8A8) 量化。由于权重很容易量化，而激活则较难量化，因此，SmoothQuant 引入平滑因子s来平滑激活异常值，通过数学上等效的变换将量化难度从激活转移到权重上。

image.png

常规的矩阵乘如下：

Y = X W Y=XW Y=XW

SmoothQuant 对激活进行 smooth，按通道除以 smoothing factor。为了保持线性层数学上的等价性，以相反的方式对权重进行对应调整。SmoothQuant 的矩阵乘如下：

Y = ( X d i a g ( s ) − 1 ) ⋅ ( d i a g ( s ) − 1 W ) = X ^ W ^ Y=(Xdiag(s)^{-1}) \cdot (diag(s)^{-1}W)=\hat{X} \hat{W} Y=(Xdiag(s)−1)⋅(diag(s)−1W)=X^W^

$X \in R ^{T \times C_i} $ 在 channel 维度（列）上每个元素除以  s i s_i si​ ，$ W \in R ^{ C_i \times C_0} 则在每行上每个元素乘以  则在每行上每个元素乘以  则在每行上每个元素乘以 s_i$ 。这样 Y 在数学上是完全相等的，平滑因子s的计算公式下面会讲述。

将量化难度从激活迁移到权重

为了减小量化误差，可以为所有 channels 增加有效量化 bits。当所有 channels 都拥有相同的最大值时，有效量化 bits 将会最大。

一种做法是让  s j = m a x ( ∣ X j ∣ ) , j = 1 , 2 , . . . , C j s_j=max(|X_j|),j=1,2,...,C_j sj​=max(∣Xj​∣),j=1,2,...,Cj​ ，  C j C_j Cj​ 代表第 j 个 input channel。各 channel 通过除以  s j s_j sj​ 后，激活 channels 都将有相同的最大值，这时激活比较容易量化。但是这种做法会把激活的量化难度全部转向权重，导致一个比较大的精度损失。

另一种做法是让 s j = 1 / m a x ( ∣ W j ∣ ) s_j=1/max(|W_j|) sj​=1/max(∣Wj​∣)，这样权重 channels 都将有相同的最大值，权重易量化，但激活量化误差会很大。

因此，我们需要在 weight 和 activation 中平衡量化难度，让彼此均容易被量化。本文作者通过加入一个超参 $ \alpha （迁移强度），来控制从激活值迁移多少难度到权重值。一个合适的迁移强度值能够让权重和激活都易于量化。 （迁移强度），来控制从激活值迁移多少难度到权重值。一个合适的迁移强度值能够让权重和激活都易于量化。  （迁移强度），来控制从激活值迁移多少难度到权重值。一个合适的迁移强度值能够让权重和激活都易于量化。 \alpha 太大，权重难以量化， 太大，权重难以量化，  太大，权重难以量化， \alpha $ 太小激活难以量化。

image.png

通过实验发现，针对 OPT 和 BLOOM 模型， $ \alpha = 0.5 是一个很好的平衡点；针对 G L M − 130 B ，该模型有 30 =0.5 是一个很好的平衡点；针对 GLM-130B，该模型有 30%的异常值，激活值量化难度更大，可以选择  =0.5 是一个很好的平衡点；针对GLM−130B，该模型有30 \alpha $=0.75 。

下图展示了当 α 为 0.5 时 SmoothQuant 的主要思想。

image.png

平滑因子 s 是在校准样本上获得的，整个转换是离线执行的。在运行时，激活是平滑的，无需缩放，具体步骤如下：

  1. 校准阶段（离线）

image.png

平滑因子s的计算公式如下：

image.png

  • $ \alpha $ 表示迁移强度，为一个超参数，控制将多少激活值的量化难度迁移到权重量化。
  • C C C 表示激活的输入通道数。
  1. 平滑阶段（离线）

image.png

X ^ , W ^ \hat{X}, \hat{W} X^,W^ 的计算公式如下：

  • $\hat{W}=diag(s) W $
  • X ^ = X d i a g ( s ) − 1 \hat{X}=X diag(s)^{-1} X^=Xdiag(s)−1
  1. 推理阶段（在线，部署模型）

image.png

平滑之后的激活的计算公式如下：

Y = X ^ W ^ Y = \hat{X} \hat{W} Y=X^W^

将 SmoothQuant 应用于 Transformer 块

在Transformer 块中，将所有计算密集型算子（如：线性层、batched matmul (BMMs) ）使用 INT8 运算，同时将其他轻量级算子（如：LayerNorm/Softmax）使用 FP16 运算 ，这样可以均衡精度和推理效率。

image.png

SmoothQuant 推理性能及精度

SmoothQuant可以无损地量化所有超过100B参数的开源LLM。

根据量化方式不同，作者提出三种策略 O1、O2、O3，其计算延迟依次降低。SmoothQuant的O1和O2级成功地保持了浮点精度，而O3级（per-tensor static）使平均精度下降了0.8%，可能是因为静态收集的统计数据与真实评估样本的激活统计数据之间的差异。

image.png

OPT-175B 使用 SmoothQuant 进行 int8 量化之后保持了与FP16相当的精度。

image.png

对于不同的LLM，SmoothQuant 相比其他量化方法（如：LLM.int8()、ZeroQuant等）具有更高的精度。

image.png

作者将SmoothQuant集成到PyTorch和FasterTransformer中，与 FP16 相比，获得高达1.56倍的推理加速，并将内存占用减半，并且模型越大，加速效果越明显。

image.png

SmoothQuant 应用

官方示例：

  • generate_act_scales.py：生成激活 scales
  • export_int8_model.py：平滑、量化以及导出INT8模型
  • smoothquant_opt_demo.ipynb：SmoothQuant 伪量化示例
  • smoothquant_opt_real_int8_demo.ipynb：SmoothQuant 真正的量化示例

使用 FP16 模拟 8 比特动态 per- tensor 权重和激活量化，即伪量化。

import torch
from transformers.models.opt.modeling_opt import OPTAttention, OPTDecoderLayer, OPTForCausalLM
from smoothquant.smooth import smooth_lm
from smoothquant.fake_quant import W8A8Linear# 模型量化
def quantize_model(model, weight_quant='per_tensor', act_quant='per_tensor', quantize_bmm_input=True):for name, m in model.model.named_modules():if isinstance(m, OPTDecoderLayer):m.fc1 = W8A8Linear.from_float(m.fc1, weight_quant=weight_quant, act_quant=act_quant)m.fc2 = W8A8Linear.from_float(m.fc2, weight_quant=weight_quant, act_quant=act_quant)elif isinstance(m, OPTAttention):# Her we simulate quantizing BMM inputs by quantizing the output of q_proj, k_proj, v_projm.q_proj = W8A8Linear.from_float(m.q_proj, weight_quant=weight_quant, act_quant=act_quant, quantize_output=quantize_bmm_input)m.k_proj = W8A8Linear.from_float(m.k_proj, weight_quant=weight_quant, act_quant=act_quant, quantize_output=quantize_bmm_input)m.v_proj = W8A8Linear.from_float(m.v_proj, weight_quant=weight_quant, act_quant=act_quant, quantize_output=quantize_bmm_input)m.out_proj = W8A8Linear.from_float(m.out_proj, weight_quant=weight_quant, act_quant=act_quant)return model# 原生 W8A8 模型量化
model_fp16 = OPTForCausalLM.from_pretrained('facebook/opt-13b', torch_dtype=torch.float16, device_map='auto')
model_w8a8 = quantize_model(model_fp16)
print(model_w8a8)# SmoothQuant  W8A8 模型量化（伪量化）
model = OPTForCausalLM.from_pretrained('facebook/opt-13b', torch_dtype=torch.float16, device_map='auto')
# 激活scales
act_scales = torch.load('../act_scales/opt-13b.pt')
smooth_lm(model, act_scales, 0.5)
model_smoothquant_w8a8 = quantize_model(model)
print(model_smoothquant_w8a8)

作者使用 CUTLASS INT8 GEMM 内核为 PyTorch 实现 SmoothQuant 真正的 INT8 推理，这些内核被包装为 torch-int 中的 PyTorch 模块。加载SmoothQuant量化后的模型示例如下：

from smoothquant.opt import Int8OPTForCausalLMdef print_model_size(model):# https://discuss.pytorch.org/t/finding-model-size/130275param_size = 0for param in model.parameters():param_size += param.nelement() * param.element_size()buffer_size = 0for buffer in model.buffers():buffer_size += buffer.nelement() * buffer.element_size()size_all_mb = (param_size + buffer_size) / 1024**2print('Model size: {:.3f}MB'.format(size_all_mb))model_smoothquant = Int8OPTForCausalLM.from_pretrained('mit-han-lab/opt-30b-smoothquant', torch_dtype=torch.float16, device_map='auto')
print_model_size(model_smoothquant)

SmoothQuant 生态

目前，SmoothQuant 已经集成到了英伟达的 TensorRT-LLM 推理加速工具以及英特尔的 Neural-Compressor 模型压缩工具包中。

总结

本文简要介绍了诞生的SmoothQuant背景和技术原理，作者提到激活值比权重更难量化，因为权重数据分布一般比较均匀，而激活异常值多且大让激活值量化变得更艰难，但是异常值只存在少数通道（Channel）内（单一 token 方差很大（异常值会存在于每一个 token 中），单一 channel 方差会小很多）。

因此，SmoothQuant 诞生。SmoothQuant 通过平滑激活层和权重后，再使用per-tensor或per-token量化，实现W8A8。根据量化方式不同，作者提出三种策略 O1、O2、O3，计算延迟依次降低。与其他量化方法相比，该方法可以保持较高的精度，同时，具有更低的延迟。

码字不易，如果觉得我的文章能够能够给您带来帮助，期待您的点赞收藏加关注~~

参考文档

  • https://github.com/mit-han-lab/smoothquant
  • https://arxiv.org/pdf/2211.10438.pdf
  • https://github.com/mit-han-lab/smoothquant/blob/main/assets/SmoothQuant.pdf
  • https://blog.csdn.net/LoveJSH/article/details/132114469
  • 大语言模型的模型量化(INT8/INT4)：https://zhuanlan.zhihu.com/p/627436535
  • SmoothQuant Real-INT8 Inference for PyTorch：https://github.com/mit-han-lab/smoothquant/blob/main/examples/smoothquant_opt_real_int8_demo.ipynb
  • SmoothQuant on OPT-13B：https://github.com/mit-han-lab/smoothquant/blob/main/examples/smoothquant_opt_demo.ipynb

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/712146.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

强化学习（六）时序差分

强化学习（六）时序差分

时序差分（TD）是强化学习的核心，其是蒙特卡罗（MC）和动态规划（DP）的结合。 1、TD 预测 TD 和 MC 都是利用经验来解决预测问题。一种非平稳环境的一般访问蒙特卡罗方法是 V ( S t ) ← V ( S t …
阅读更多...
Python GUI开发库之nicegui使用详解

Python GUI开发库之nicegui使用详解

概要 在 Python 中，创建图形用户界面（GUI）应用程序通常需要大量的代码和时间。然而，随着 Python 生态系统的不断发展，出现了一些简化 GUI 开发过程的工具和库。其中之一就是 NiceGUI 库。本文将深入探讨 NiceGUI 库的功能、用法以及如何利用它来创建漂亮而功能丰富的 GUI…
阅读更多...
如何使用css实现一个加载动画

如何使用css实现一个加载动画

如何使用css实现一个加载动画 有四个点 初始化为同一个颜色 每个阶段 不同的透明度 刷新也不会影响初始化 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthd…
阅读更多...
List 集合遍历过程中删除元素避坑指南。

List 集合遍历过程中删除元素避坑指南。

文章目录 1. 遍历2. 遍历过程中删除元素2.1 for 简单循环正向遍历方式2.2 for 简单循环反向遍历方式2.3 foreach 方式遍历删除2.4 Iterator的remove()方法2.5 <font color green> removeIf() &#xff08;推荐&#xff09;<green>2.6 Strem 方式 作为一名后端开发…
阅读更多...
python之计算CPI

python之计算CPI

CPI&#xff0c;即消费者物价指数&#xff08;Consumer Price Index&#xff09;&#xff0c;是一个反映居民家庭一般所购买的消费品和服务项目价格水平变动情况的宏观经济指标。它是在特定时段内度量一组代表性消费商品及服务项目的价格水平随时间而变动的相对数&#xff0c;通…
阅读更多...
网络测试相关

网络测试相关

前言 网络测试通常是指在网络环境比较复杂&#xff0c;而且有较多限制时&#xff0c;就需要清楚网络的走向和途径的节点&#xff0c;便于在出现问题时进行排查和优化网络性能&#xff0c;相关知识大多是计算机网络的 测试工具 抓包 wireshark 路由探测 traceroute/tracert 这…
阅读更多...
云快充充电桩系统设计书

云快充充电桩系统设计书

充电桩系统设计书 一、系统设计概述 随着新能源汽车市场的快速发展&#xff0c;充电桩作为电动汽车的重要配套设施&#xff0c;其市场需求日益增长。本系统旨在提供一套稳定、高效、易用的充电桩解决方案&#xff0c;以满足市场上新能源充电桩的主流需求。通过实现云快充V1.6协…
阅读更多...
nginx使用详解--动静分离

nginx使用详解--动静分离

什么是动静分离&#xff1f; 为了提高网站的响应速度&#xff0c;减轻程序服务器&#xff08;Tomcat&#xff0c;Jboss等&#xff09;的负载&#xff0c;对于静态资源&#xff0c;如图片、js、css等文件&#xff0c;可以在反向代理服务器中进行缓存&#xff0c;这样浏览器在请…
阅读更多...
如何选择激活函数？

如何选择激活函数？

选择神经网络的激活函数是一个重要的决策&#xff0c;因为激活函数的选择会影响到网络的收敛速度以及能否有效地训练。不同的激活函数适用于不同的任务和网络架构。以下是选择激活函数时可以考虑的一些指导原则和常用的激活函数&#xff1a; 指导原则 问题类型&#xff1a; 二…
阅读更多...
LLM小记

LLM小记

RAG 参考 检索增强生成(RAG)概念及优化 主流模型 llama系列 1. 背景&#xff1a;模型参数量级的积累&#xff0c;或者训练数据的增加&#xff0c;哪个对性能提升帮助更大&#xff1f; 最近的 “Training Compute-Optimal Large Language Models” 这篇论文提出一种缩放定…
阅读更多...
Java：PDF图片抽取的两种方法

Java：PDF图片抽取的两种方法

图片和PDF是我们日常生活和工作中经常接触到的文档格式。PDF是人们日常使用最多的跨平台文档&#xff0c;是一种用独立于应用程序、硬件、操作系统的方式呈现文档的文件格式。每个PDF文件包含固定布局的平面文档的完整描述&#xff0c;包括文本、字形、图形及其他需要显示的信息…
阅读更多...
如何利用HubSpot海外获客系统实现海外市场扩张？

如何利用HubSpot海外获客系统实现海外市场扩张？

在当今全球化的时代&#xff0c;企业面临着越来越激烈的竞争&#xff0c;而海外市场则被视为获取更多增长机会的重要途径之一。针对这一挑战&#xff0c;企业需要建立一个完整的海外获客系统&#xff0c;而HubSpot软件的应用则成为了关键。作为HubSpot的合作伙伴&#xff0c;我…
阅读更多...
librtmp源码分析

librtmp源码分析

阅读了librtmp的源码&#xff0c;简单记录下。 首先补充下AMF格式基本知识 1 AMF格式 AMF是Action Message Format(动作消息格式)的简写&#xff0c;它是一种二进制的数据格式。它的设计是为了把actionscript里面的数据(包括Object, Array, Boolean, Number等)序列化成二进制…
阅读更多...
jvm 基础知识和jvm 调优

jvm 基础知识和jvm 调优

类装载分为以下 5 个步骤&#xff1a; 加载&#xff1a;根据查找路径找到相应的 class 文件然后导入&#xff1b; 检查&#xff1a;检查加载的 class 文件的正确性&#xff1b; 准备&#xff1a;给类中的静态变量分配内存空间&#xff1b; 解析&#xff1a;虚拟机将常量池中的符…
阅读更多...
C# 异步返回类型详解

C# 异步返回类型详解

在现代软件开发中&#xff0c;异步编程已经成为一种重要的编程范式&#xff0c;尤其是在需要与I/O密集型操作交互的上下文中&#xff0c;比如网络请求、数据库操作等。C# 语言提供了强大的异步支持&#xff0c;使得异步编程变得更加简单和直观。本文将详细介绍C#中异步返回类型…
阅读更多...
vue3学习 【5】watch的使用

vue3学习 【5】watch的使用

什么是watch 当我们需要根据一个数据的变化来进行一些操作的时候我们需要使用侦听器&#xff0c;它能够在响应式数据发生变化的时候触发提供的回调函数 基础侦听 watch 可以侦听不同的数据源。例如&#xff1a; ref计算属性响应式对象getter函数多个数据源组层的数据 cons…
阅读更多...
20240229金融读报：央行阿拉善创新融资模式与碳排放权交易条例实施，新春政策聚焦新生产力及金融风险防范

20240229金融读报：央行阿拉善创新融资模式与碳排放权交易条例实施，新春政策聚焦新生产力及金融风险防范

1、人民银行阿拉善盟分行实例&#xff1a;再贷款产业链&#xff08;活体牲畜抵押贷款牲畜死亡率保险&#xff09;、“再贷款新型农牧业经营主体”&#xff08;基础设施薄弱、产业结构单一&#xff0c;筹集资金创办嘎查集体经济股份合作社贷款&#xff09; 2、建设银行实例&…
阅读更多...
oracle11安装及使用

oracle11安装及使用

安装oracle11 官网下载地址 Oracle Database 11g Release 2 for Microsoft Windows (x64) 官网下载慢可访问我的资源 也可以网盘获取 链接&#xff1a;https://pan.baidu.com/s/1RDrGkqDA7tfKRnpJXUBMDw 提取码&#xff1a;z3na 上传安装包到服务器 在指定目录下创建文件…
阅读更多...
adb命令

adb命令

1. 常用命令&#xff1a; adb devices #查看连接设备adb -s cf27456f shell # 指定连接设备使用命令adb install test.apk # 安装应用adb install -r demo.apk #安装apk 到sd 卡&#xff1a;adb uninstall cn.com.test.mobile #卸载应用&#xff0c;需要指定包adb uninstall -…
阅读更多...
Windows系统x86机器安装龙芯（loongarch64）3A5000虚拟机系统详细教程

Windows系统x86机器安装龙芯（loongarch64）3A5000虚拟机系统详细教程

本次介绍在window系统x86机器上安装loongarch64系统的详细教程。 1.安装环境准备。 首先&#xff0c;你得有台电脑。 配置别太差&#xff0c;至少4核8G内存&#xff0c;安装window10或者11都行&#xff08;为啥不能是Window7&#xff0c;你要用也不是不行&#xff0c;你先解决…
阅读更多...
最新文章

Copyright @ 2022~2023