大语言模型量化方法GPTQ、GGUF、AWQ详细原理

大语言模型量化的目的是减少模型的计算资源需求和存储占用,同时尽量保持模型的性能。以下是几种常见的量化方法的原理;

1. GPTQ (Gradient-based Post-training Quantization)

GPTQ 是一种基于梯度的后训练量化方法,主要目的是在减少浮点计算时尽量保持模型的性能。这种方法对大语言模型的量化尤其有效,适用于 8-bit 或更低的量化需求。

原理

  • 后训练量化:模型已经训练完毕,不需要重新训练,只需在训练后对权重进行量化。
  • 梯度校正:在进行量化的过程中,GPTQ 通过优化目标函数,对量化误差进行最小化。它通过梯度优化调整量化时的权重误差,使得量化后模型的表现与未量化模型尽可能接近。
  • 误差补偿:由于量化不可避免地引入误差,GPTQ 采用了误差反馈机制,将量化过程中产生的误差传播到后续的层进行补偿,从而减少累积误差对模型输出结果的影响。

优点

  • 不需要额外的训练数据,只使用训练后的模型即可。
  • 相较于传统的直接量化方法(如固定比特宽度量化),GPTQ 的精度损失较小,特别适合复杂模型。

假设量化 LLaMA 模型,以下是一个基本的示例代码::

# # 环境安装
# pip install transformers accelerate
# pip install git+https://github.com/qwopqwop200/GPTQ-for-LLaMa.gitimport torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from gptq import GPTQ# 选择模型(你可以使用 LLaMA 或其他支持的模型)
model_name = "huggingface/llama"# 加载预训练模型和分词器
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)# 初始化 GPTQ
quantizer = GPTQ(model)# 设置量化位数(比如8-bit量化)
W_BITS = 8# 开始量化模型
quantizer.quantize(w_bits=W_BITS, layer_types=["self_attn", "mlp"])# 生成量化后的模型
quantized_model = quantizer.finish()# 测试模型推理(生成文本)
input_text = "What is the capital of France?"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = quantized_model.generate(**inputs, max_new_tokens=20)# 解码输出
decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(decoded_output)

2. GGUF (Generalized Global Uniform Quantization Framework)

GGUF 是一种通用的全局统一量化框架,专门设计用于处理大规模神经网络。它通常采用全局统一量化策略,即对整个模型的权重或激活值采用相同的量化参数,保持模型的一致性。

原理

  • 全局量化:将整个模型中的所有参数统一映射到固定的范围,比如使用 8-bit 或 4-bit 表示所有的浮点数。它假设模型的所有层或某一类参数具有相似的分布,从而可以使用相同的量化范围。
  • 均匀量化:所有的数值都被线性地映射到一个均匀的范围。这种方式计算效率高,尤其适合硬件加速器。
  • 权重重定标:由于采用统一量化策略,GGUF 通常会引入一个缩放因子,用来在推理阶段重定标量化后的数值,以避免数值溢出或精度过低的问题。

优点

  • 简单且高效,适用于低延迟推理场景。
  • 算法计算复杂度低,适合部署在资源有限的硬件上。

缺点

  • 由于全局采用统一的量化范围,对于模型某些权重分布极端的层来说,精度损失可能较大

演示如何对 Hugging Face 上的 GPT-2 模型进行 8-bit 全局统一量化

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel
from torch.quantization import QuantStub, DeQuantStub, quantize_dynamic# 加载 GPT2 模型和分词器
model_name = "gpt2"
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)# 打印原始模型的大小
print(f"Original model size: {model.num_parameters()} parameters")# 模型准备:将全局所有层量化(使用动态量化)
quantized_model = quantize_dynamic(model,  # 要量化的模型{torch.nn.Linear},  # 量化哪些层(这里是线性层)dtype=torch.qint8  # 量化数据类型,这里使用 8-bit 量化
)# 打印量化后的模型大小
print(f"Quantized model size: {sum(p.numel() for p in quantized_model.parameters())} parameters")# 测试量化后的模型生成文本
input_text = "Once upon a time"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = quantized_model.generate(**inputs, max_new_tokens=50)# 解码输出
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Generated text:", generated_text)

3. AWQ (Activation-aware Quantization)

AWQ 是一种关注激活值的量化方法,主要在量化过程中考虑了激活值分布对模型性能的影响。这种方法通过分析激活值的分布特性,在量化过程中对激活值进行适应性处理,从而提高量化后模型的准确性。

原理

  • 激活值感知:在对权重进行量化的同时,AWQ 也会对每一层的激活值分布进行分析。在某些层,激活值可能呈现出不均匀或长尾分布,导致量化过程中精度下降。AWQ 对这些激活值分布进行感知并自适应调整量化策略。
  • 非均匀量化:在量化激活值时,AWQ 并不采用线性均匀量化,而是针对不同的激活值范围选择不同的量化尺度。这样可以更好地捕捉激活值的细节,减少量化误差。
  • 动态缩放:通过动态调整每层的量化缩放因子,使得量化后的激活值分布尽量保持和原始模型一致。

优点

  • 在模型的不同层次灵活调整量化策略,减少精度损失。
  • 适合模型推理阶段需要高精度的场景。

缺点

  • 相比全局统一量化,计算复杂度略高,可能需要更多的计算资源。
import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel
from torch.quantization import QuantStub, DeQuantStub, prepare_qat, convert# 加载 GPT-2 模型和分词器
model_name = "gpt2"
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)# 定义量化模块
class QuantizedGPT2(torch.nn.Module):def __init__(self, model):super(QuantizedGPT2, self).__init__()self.quant = QuantStub()  # 用于激活值的量化self.model = modelself.dequant = DeQuantStub()  # 用于激活值的反量化def forward(self, input_ids):# 对输入的激活值进行量化quantized_inputs = self.quant(input_ids)outputs = self.model(input_ids=quantized_inputs)# 对输出进行反量化return self.dequant(outputs.logits)# 将模型包装在量化模块中
quantized_model = QuantizedGPT2(model)# 量化感知训练准备(QAT)
quantized_model.qconfig = torch.quantization.get_default_qat_qconfig('fbgemm')# 准备 QAT
quantized_model = prepare_qat(quantized_model, inplace=True)# 模拟训练(可以加载现有权重并继续训练)
# 这里使用了一些样本数据
input_text = "What is the capital of France?"
inputs = tokenizer(input_text, return_tensors="pt")['input_ids']
quantized_model.train()for _ in range(10):  # 模拟训练步骤outputs = quantized_model(inputs)loss = torch.nn.functional.cross_entropy(outputs.view(-1, outputs.size(-1)), inputs.view(-1))loss.backward()# 完成量化
quantized_model.eval()
quantized_model = convert(quantized_model)# 测试量化后的模型
with torch.no_grad():outputs = quantized_model(inputs)generated_text = tokenizer.decode(outputs[0].argmax(dim=-1), skip_special_tokens=True)
print("Generated text:", generated_text)

总结

  • GPTQ 通过梯度优化对量化误差进行最小化,适用于后训练阶段的精细量化,精度较高。
  • GGUF 采用全局统一的量化策略,具有简单高效的优点,适用于资源受限的部署场景,但可能导致某些模型层的精度损失。
  • AWQ 关注激活值的量化,通过分析激活值的分布对量化策略进行自适应调整,精度更高但计算复杂度较大。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/54618.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

macOS 系统中python的安装步骤

访问Python官网: 打开浏览器,访问Python的官方网站(https://www.python.org/)。 下载Python安装包: 在官网首页找到“Downloads”链接,点击进入下载页面。选择适用于macOS的安装包。在撰写本文时&#xff…

智慧水利采砂船在线监控平台:构建高效、智能的河道采砂监管体系

随着科技的不断发展,水利行业的智慧化转型也日益受到重视。智慧水利采砂船在线监控平台便是这一转型的重要成果之一。该平台主要服务于水政执法人员,针对取得河道采砂许可证的采砂公司及采砂船,实施在线自动监控,旨在提高监管效率…

Ubuntu USB设置别名

在 Ubuntu 中,可以通过创建 udev 规则为 USB 设备设置别名。这样你可以通过自定义的别名访问设备,而不是使用随机分配的设备节点(例如 /dev/ttyUSB0)。 1. 确认设备信息 首先,你需要找到设备的相关信息&#xff08…

linux 内存屏障(barrier)分析

谈起内存屏障,大家感觉这个"玩意儿"很虚,不太实际,但是内核代码中又广泛地可以看到起身影。内存屏障,英文barrier,这个"玩意儿"它还不太好去定义它。barrier,中文翻译为栅栏,栅栏大家都见过,现实生活中就是防止他人或者动物非法闯入而用来进行隔…

iptables限制网速

1、使用hashlimit来限速 #从eth0网卡进入INPUT链数据,使用模块hashlimit 限制网速为100kb/s或2mb/s,超过限制的数据包会被DROP。OUTPUT链同理,mode为srcip,有4个mode选项: srcip(默认匹配每个源地址IP,配置指定源地址…

【STM32开发笔记】移植AI框架TensorFlow到STM32单片机【上篇】

【STM32开发笔记】移植AI框架TensorFlow【上篇】 一、TFLM是什么?二、TFLM开源项目2.1 下载TFLM源代码2.2 TFLM基准测试说明2.3 TFLM基准测试命令 三、TFLM初步体验3.1 PC上运行Keyword基准测试3.2 PC上运行Person detection基准测试3.3 No module named numpy问题解…

保障电气安全的电气火灾监控系统主要组成有哪些?

电气火灾是什么? 电气火灾一般是指由于电气线路、用电设备、器具以及供配电设备出现故障性释放的热能:如高温、电弧、电火花以及非故障性释放的能量;如电热器具的炽热表面,在具备燃烧条件下引燃本体或其他可燃物而造成的火灾&…

递归基础训练-路径总和

路径总和 给你二叉树的根节点 root 和一个表示目标和的整数 targetSum 。判断该树中是否存在 根节点到叶子节点 的路径,这条路径上所有节点值相加等于目标和 targetSum 。如果存在,返回 true ;否则,返回 false 。 我们可以把之前的…

docker在基础镜像上,比如rockylinux,如何配置yum仓库

在基础镜像rockylinux上 启动的容器,没有yum仓库,就执行不了一些命令 ~]docker run -itd --name linux rockylinux:8.5~]# docker exec -it linux bash /]# ifconfig bash: ifconfig: command not found/]# vim bash: vim: command not found …

计算机组成原理(笔记4)

定点加减法运算 补码加法&#xff1a; 补码减法&#xff1a; 求补公式&#xff1a; 溢出的概念 在定点小数机器中,数的表示范围为|&#xff58;|<1。在运算过程中如出现大于1的现象,称为 “溢出”。 上溢&#xff1a;两个正数相加&#xff0c;结果大于机器所能表示的最…

20240923软考架构-------软考186-190答案解析

每日打卡题186-190答案 186、Mesh 化架构是把&#xff08; &#xff09;从业务进程中分离&#xff0c;分离后在业务进程中只保留很“薄”的Client部分&#xff0c;Client 通常很少变化&#xff0c;只负责与 Mesh进程通信&#xff0c;原来需要在SDK中处理的流量控制、安全等逻辑…

数据结构-线性表的单链式存储结构图解及C语言实现

概念 链式存储&#xff1a;结点在存储器中的位置是任意的&#xff0c;即逻辑相邻的数据元素在物理上不一定相邻 链式存储结构也称非顺序映像或链式映像 图解 链式存储结构中结点一般有两个部分组成&#xff0c;即数据域(data)和指针域&#xff0c;数据域是用于存放数据的&…

开源ids snort (windows版)

Snort-IPS-on-Windows-main资源-CSDN文库 GitHub - eldoktor1/Snort-IPS-on-Windows: A comprehensive guide to installing and configuring Snort IPS on Windows, ensuring robust network security 手动打造Snortbarnyard2BASE可视化告警平台 - FreeBuf网络安全行业门户 …

JavaWeb--小白笔记07:servlet对表单数据的简单处理

这里的servlet对表单数据的处理是指使用IDEA创建web工程&#xff0c;再创建html和class文件进行连接&#xff0c;实现html创建一个表单网页&#xff0c;我们对网页中的表单进行填充&#xff0c;可以通过class文件得到网页我们填充的内容进行打印到控制台。 一登录系统页面---h…

Linux网络之UDP与TCP协议详解

文章目录 UDP协议UDP协议数据报报头 TCP协议确认应答缓冲区 超时重传三次握手其他问题 四次挥手滑动窗口流量控制拥塞控制 UDP协议 前面我们只是说了UDP协议的用法,但是并没有涉及到UDP协议的原理 毕竟知道冰箱的用法和知道冰箱的原理是两个层级的事情 我们首先知道计算机网…

1. BOOT.BIN 2. 固化 3. 启动 4. SDK 5. 文件

在进行FPGA的开发与固化过程中&#xff0c;生成BOOT.BIN文件是一个重要的步骤。BOOT.BIN文件通常包含了系统启动所需的不同文件&#xff0c;以下是如何创建和使用该文件的详细说明。 ### 生成BOOT.BIN文件的步骤 1. **方法一&#xff1a;通过项目构建** - 右键单击项目&#xf…

Android Camera 预览角度和拍照保存图片角度相关

–基于Android R(11) 关于Camera Camera Framework 的架构 Android Camera Framework 是一个分层架构&#xff0c;由以下组件组成&#xff1a; HAL&#xff08;硬件抽象层&#xff09;: HAL 抽象底层相机硬件,提供与不同设备相机进行交互的标准接口.CameraService : Camera…

怎么用gitee做一个图片仓库,在md文档中用这个图片网络地址,然后显示图片

痛因&#xff1a;我为什么要这样做&#xff0c;呃&#xff0c;我一开始图片都是存本地地址的&#xff0c;放在和这个md文档同级的assets文件夹下面&#xff0c;这样子确实当时很方便&#xff0c;复制粘贴什么也不用管&#xff0c;但是想把这个文档分享给别的人的时候&#xff0…

【软考】计算机系统硬件基本组成

目录 一、说明 一、说明 1. 计算机系统是由硬件和软件组成的&#xff0c;它们协同工作来运行程序。 2. 计算机的基本硬件系统由运算器、控制器、存储器、输入设备和输出设备5大部件组成。 3. 运算器、控制器等部件被集成在一起统称为中央处理单元(Central Processing Unit&…

美信监控易的优势:长期稳定运行

美信监控易作为一款运维产品&#xff0c;其显著的优势在于能够长期稳定运行。在IT运维领域&#xff0c;系统的稳定性是至关重要的&#xff0c;它直接关系到企业的业务连续性和客户满意度。美信监控易通过其自研的数据库和先进的监测技术&#xff0c;确保了系统的高可用性&#…