如何学习大型语言模型中的量化

前言

图片来自作者：Flow 展示了量化的必要性。（笑脸和生气脸图片来自Yan Krukau)


在我解释上面的图表之前，让我先介绍一下您将在本文中学习的重点内容。

  1. 首先，您将了解量化是什么以及为什么量化。
  2. 接下来，您将深入了解如何通过一些简单的数学推导来实现量化。
  3. 最后，我们将在 PyTorch 中一起编写一些代码来执行 LLM 权重参数的量化和反量化

让我们一起来一一解开吧。


1. 什么是量化？为什么需要它？

量化是一种将较大尺寸的模型（LLM 或任何深度学习模型）压缩为较小尺寸的方法。量化的主要目的是量化模型的权重参数和激活。让我们进行一个简单的模型大小计算来验证我们的陈述。

作者提供的图片：左图：以 GB 为单位的基本模型大小计算，右图：以 GB 为单位的量化模型大小计算


在上图中，基础模型 Llama 3 8B 的大小为 32 GB。经过 Int 8 量化后，大小减小到 8Gb（减少了 75％）。通过 Int4 量化，大小进一步减小到 4GB（减少了约 90％）。这是模型大小的大幅减少。这确实很神奇！不是吗？这要归功于量化论文的作者，我对数学的力量深表赞赏。

现在您已经了解了什么是量化，让我们继续讨论为什么。

让我们看一下图 1，作为一名有抱负的 AI 研究人员、开发人员或架构师，如果您想对数据集或推理执行模型微调，很可能由于内存和处理器的限制，您将无法在机器或移动设备上执行此操作。

可能和我一样，您也会像选项 1b 一样怒气冲冲。这将我们带到了选项 1a，您可以让云提供商为您提供所需的所有资源，并且可以轻松地使用任何您想要的模型完成任何任务。

但这会花费您很多钱。如果你能负担得起，那就太好了。但如果您的预算有限，好消息是您还有选项 2 可用。在这里，您可以执行量化方法来减小模型的大小并方便地在您的用例中使用它。如果您的量化做得好，您将获得与原始模型大致相同的准确度。

注意：如果您想将模型投入生产，一旦您在本地机器上对模型完成微调或其他任务，我建议您将模型托管在云中，以便为您的客户提供可靠、可扩展和安全的服务。ParagogerAI训练营 2img.ai

2. 量化是如何实现的？一个简单的数学推导。

从技术上讲，量化将模型的权重值从较高精度（例如 FP32）映射到较低精度（例如 FP16|BF16|INT8）。虽然有许多量化方法可用，但在本文中，我们将学习一种广泛使用的量化方法，即线性量化方法。线性量化有两种模式：A.非对称量化和B.对称量化。我们将逐一了解这两种方法。

A.非对称线性量化：非对称量化方法 将原始张量范围（Wmin，Wmax）中的值映射到量化张量范围（Qmin，Qmax）中的值。

作者图片：非对称线性量化


  • Wmin、Wmax：原始张量的最小值和最大值（数据类型：FP32，32 位浮点数）。大多数现代 LLM 中权重张量的默认数据类型为 FP32。
  • Qmin、Qmax：量化张量的最小值和最大值（数据类型：INT8，8 位整数）。我们还可以选择其他数据类型（如 INT4、INT8、FP16 和 BF16）进行量化。我们将在示例中使用 INT 8。
  • 比例值（S）：在量化过程中，比例值会缩小原始张量的值，得到量化张量。在反量化过程中，比例值会放大量化张量的值，得到反量化值。比例值的数据类型与原始张量相同，均为 FP32。
  • 零点 (Z)：零点是量化张量范围内的非零值，直接映射到原始张量范围内的值0。零点的数据类型为 INT8，因为它位于量化张量范围内。
  • 量化：图表的“ A ”部分显示了量化过程，将 [Wmin, Wmax] 映射到 [Qmin, Qmax]。
  • 反量化：图的“B”部分显示了反量化过程，该过程映射 [Qmin, Qmax] -> [Wmin, Wmax]。

那么，我们如何从原始张量值导出量化张量值呢？这很简单。如果你还记得高中数学，你可以轻松地理解下面的推导。让我们一步一步来（我建议你在推导方程时参考上面的图表，以便更清楚地理解）。

我知道你们中的许多人可能不想经历下面的数学推导。但相信我，它肯定会帮助你理清概念，并在后期为量化编码时节省大量时间。我在研究这个问题时也有同样的感受。




  • 潜在问题 1：如果 Z 的值超出范围该怎么办？解决方案：使用简单的 if-else 逻辑，如果 Z 的值小于 Qmin，则将其更改为 Qmin；如果 Z 的值大于 Qmax，则将其更改为 Qmax。下图 4 中的图 A 对此进行了很好的描述。
  • 潜在问题 2：如果 Q 值超出范围该怎么办？解决方案：在 PyTorch 中，有一个名为clamp 的函数，它会调整值以保持在特定范围内（在我们的示例中为 -128, 127）。因此，如果 Q 值低于 Qmin，则 clamp 函数会将 Q 值调整为 Qmin；如果 Q 值高于 Qmax，则将 Q 值调整为 Qmax。问题解决了，让我们继续。

作者的图片：零点和量化张量超出范围


附注：对于 INT8（有符号整数数据类型），量化张量值的范围为 (-128, 127)。如果量化张量值的数据类型为 UINT8（无符号整数），则范围为 (0, 255)。

B. 对称线性量化：在对称方法中，原始张量范围中的 0 点映射到量化张量范围中的 0 点。因此，这被称为对称。由于 0 在范围的两侧都映射到 0，因此对称量化中没有 Z（零点）。整体映射发生在原始张量范围的 (-Wmax, Wmax) 和量化张量范围的 (-Qmax, Qmax) 之间。下图显示了量化和去量化情况下的对称映射。

作者图片：对称线性量化

由于我们已经定义了非对称段中的所有参数，因此这里也同样适用。让我们进入对称量化的数学推导。

非对称量化和对称量化之间的区别：


现在您已经了解了线性量化是什么、为什么和如何，这将引导我们进入文章的最后一部分，即编码部分。ParagogerAI训练营 2img.ai

3. 在PyTorch中编写代码来执行LLM权重参数的量化和反量化。

正如我之前提到的，量化也可以在模型的权重、参数和激活上进行。但是，为了简单起见，我们将在编码示例中仅量化权重参数。在开始编码之前，让我们快速看一下 Transformer 模型中量化后权重参数值的变化情况。我相信这会让我们的理解更加清晰。

作者提供的图片：Transformer 架构中权重参数的量化


当我们仅对 16 个原始权重参数从 FP32 量化到 INT8 后，内存占用就从 512 位减少到了 128 位（减少了 25%）。这证明对于大模型的情况，减少会更加显著。

下面，您可以看到 FP32、Signed INT8 和 Unsigned UINT8 等数据类型在实际内存中的分布。我已经以 2 的补码进行了实际计算。您可以自行练习计算并验证结果。

作者提供的图片：FP32、INT8、UINT8 数据类型分布及计算示例


现在，我们已经介绍了开始编码所需的一切。我建议您继续学习以熟悉推导。

A.非对称量化代码：我们一步一步来编码。

步骤 1：我们首先为原始权重张量分配随机值（大小：4x4，数据类型：FP32）# !pip install torch; 如果尚未安装 torch 库，请先安装
# import torch library
import torch

original_weight = torch.randn(( 4 , 4 ))
print (original_weight)


FP32 中的 original_weight 张量


第 2 步：我们将定义两个函数，一个用于量化，另一个用于反量化。def asymmetric_quantization(original_weight):
# define the data type that you want to quantize. In our example, it's INT8.
quantized_data_type = torch.int8

# Get the Wmax and Wmin value from the orginal weight which is in FP32.
Wmax = original_weight.max().item()
Wmin = original_weight.min().item()

# Get the Qmax and Qmin value from the quantized data type.
Qmax = torch.iinfo(quantized_data_type).max
Qmin = torch.iinfo(quantized_data_type).min

# Calculate the scale value using the scale formula. Datatype - FP32.
# Please refer to math section of this post if you want to find out how the formula has been derived.
S = (Wmax - Wmin)/(Qmax - Qmin)

# Calculate the zero point value using the zero point formula. Datatype - INT8.
# Please refer to math section of this post if you want to find out how the formula has been derived.
Z = Qmin - (Wmin/S)
# Check if the Z value is out of range.
if Z < Qmin:
Z = Qmin
elif Z > Qmax:
Z = Qmax
else:
# Zero point datatype should be INT8 same as the Quantized value.
Z = int(round(Z))

# We have original_weight, scale and zero_point, now we can calculate the quantized weight using the formula we've derived in math section.
quantized_weight = (original_weight/S) + Z

# We'll also round it and also use the torch clamp function to ensure the quantized weight doesn't goes out of range and should remain within Qmin and Qmax.
quantized_weight = torch.clamp(torch.round(quantized_weight), Qmin, Qmax)

# finally cast the datatype to INT8.
quantized_weight = quantized_weight.to(quantized_data_type)

# return the final quantized weight.
return quantized_weight, S, Z

def asymmetric_dequantization(quantized_weight, scale, zero_point):
# Use the dequantization calculation formula derived in the math section of this post.
# Also make sure to convert quantized_weight to float as substraction between two INT8 values (quantized_weight and zero_point) will give unwanted result.
dequantized_weight = scale * (quantized_weight.to(torch.float32) - zero_point)

return dequantized_weight


步骤 3：我们将通过调用asymmetric_quantization函数来计算量化权重、比例和零点。您可以在下面的屏幕截图中看到输出结果，请注意，quantized_weight 的数据类型为 int8，scale 为 FP32，zero_point 为 INT8。quantized_weight, scale, zero_point = asymmetric_quantization(original_weight)
print(f"quantized weight: {quantized_weight}")
print("\n")
print(f"scale: {scale}")
print("\n")
print(f"zero point: {zero_point}")


量化的重量、尺度和零点值


步骤 4：现在我们已经有了量化权重、比例和零点的所有值。让我们通过调用 asymmetric_dequantization 函数来获取反量化权重值。请注意，反量化权重值为 FP32。dequantized_weight = asymmetric_dequantization(quantized_weight, scale, zero_point)
打印(dequantized_weight)

去量化权重值


步骤5：让我们通过计算它们之间的量化误差来找出最终的去量化权重值与原始权重张量相比的准确度。quantization_error = (dequantized_weight - original_weight).square().mean()
print(quantization_error)

输出结果：quantization_error 少了很多。因此，我们可以说非对称量化方法做得很好。


B. 对称量化代码：我们将使用与非对称方法相同的代码。对称方法唯一需要做的改变是始终确保 zero_input 的值为 0。这是因为在对称量化中，zero_input 值始终映射到原始权重张量中的 0 值。我们无需编写额外代码即可继续操作。



就这样！

我们到了这篇文章的结尾。我希望这篇文章能帮助你对量化建立坚实的直觉，并清楚地理解数学推导部分。

我最后的想法是……

  • 在这篇文章中，我们涵盖了参与任何 LLM 或深度学习量化相关任务所需的所有必要主题。
  • 虽然，我们已经成功地对权重张量进行了量化，并且也取得了良好的精度。在大多数情况下，这已经足够了。但是，如果你想对更大的模型应用更高精度的量化，你需要执行通道量化（量化权重矩阵的每一行或列）或组量化（在行或列中分成更小的组并分别量化它们）。这些技术更复杂。我将在即将发布ParagogerAI训练营 2img.ai中介绍它们。

欢迎你分享你的作品到我们的平台上. http://www.shxcj.com 或者 www.2img.ai 让更多的人看到你的才华。

创作不易，觉得不错的话，点个赞吧！！！
​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/40338.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

the problem when using langchain chat openai model and crewai same llm models

the problem when using langchain chat openai model and crewai same llm models

题意&#xff1a; when i am using langchain chat openai model and invoking method its working but when using in crewai same llm models it gives invalid api key 当你提到在使用 langchain 的 chatopenai 模型并调用方法时一切正常&#xff0c;但在 crewai 中使用相…
阅读更多...
小程序 npm 支持

小程序 npm 支持

使用 npm 包 目前小程序已经支持使用 npm 安装第三方包&#xff0c;因为 node_modules 目录中的包不会参与小程序项目的编译、 上传和打包&#xff0c;因此在小程序 项目中要使用的 npm 包&#xff0c;必须走一遍构建 npm 的过程。在构建成功以后&#xff0c;默认 会在小程序目…
阅读更多...
【keil5问题】keil5中突然debug调试不能全速运行的问题

【keil5问题】keil5中突然debug调试不能全速运行的问题

1、问题现象&#xff1a; 原本的项目工程是正常debug单步调试&#xff0c;然后突然出现是点击左上角的run全速运行&#xff0c;也全速运行不了&#xff0c;出现如下图的情况&#xff0c;点一次一步走的现象 2、问题解决&#xff1a; 2-1、问题分析&#xff1a; 点击reset、…
阅读更多...
JavaScript中的this指向

JavaScript中的this指向

1. 全局环境下的this 在全局环境中&#xff08;在浏览器中是window对象&#xff0c;在Node.js中是global对象&#xff09;&#xff0c;this指向全局对象。 console.log(this window); // 在浏览器中为true console.log(this.document ! undefined); // true&#xff0c;因为…
阅读更多...
opencv编译报错OpenCV does not recognize MSVC_VERSION “1940“

opencv编译报错OpenCV does not recognize MSVC_VERSION “1940“

具体如下: CMake Warning at cmake/OpenCVDetectCXXCompiler.cmake:182 (message):OpenCV does not recognize MSVC_VERSION "1940". Cannot set OpenCV_RUNTIME Call Stack (most recent call first):CMakeLists.txt:174 (include) 打开源码\opencv\sources\cmak…
阅读更多...
如何加密U盘？U盘加密软件推荐

如何加密U盘？U盘加密软件推荐

U盘是我们最常用的移动存储设备&#xff0c;可以帮助我们随身携带大量数据。为了避免U盘数据泄露&#xff0c;我们需要加密保护U盘。那么&#xff0c;U盘该如何加密呢&#xff1f;下面小编就为大家推荐两款专业的U盘加密软件。 U盘超级加密3000 U盘超级加密3000是一款优秀的U盘…
阅读更多...
大模型概述-定义/分类/训练/应用

大模型概述-定义/分类/训练/应用

大模型概述 随着时代的发展, 大模型各个领域的应用正在不断扩大. 本文尽力梳理各种材料, 将从概念定义, 类型分类, 训练以及应用等方面对大模型进行一个简要的概述. 如果你想了解大模型但是却缺乏基础的知识或者觉得无从下手, 那么阅读该文章可能对你有所帮助. 如果想了解更多…
阅读更多...
Django任意URL跳转漏洞（CVE-2018-14574）

Django任意URL跳转漏洞（CVE-2018-14574）

目录 Django介绍 URL跳转漏洞介绍 Django任意URL跳转漏洞介绍 环境搭建 防御方法 前段时间在面试时&#xff0c;问到了URL跳转漏洞&#xff0c;我没有回答好&#xff0c;下午把URL跳转漏洞学习了&#xff0c;发现也不难&#xff0c;看来还需要学习的东西很多呀&#xff0c…
阅读更多...
cadence symbol修改之一

cadence symbol修改之一

cdaence virtuoso 复制cell&#xff0c;或者拷贝symbol之后&#xff0c;再次调用的时候&#xff0c;symbol还是跟随原来的cell名字 解决办法 打开对应的symbol 修改partName为 cellName
阅读更多...
把前端打包放到Eladmin框架中运行

把前端打包放到Eladmin框架中运行

再resuorces目录创建static文件夹&#xff0c;然后把前端文件放进来 然后修改 ConfigurerAdapter文件&#xff0c;如下图所示 这样就可以通过ip端口/index.html 这样访问啦&#xff01;
阅读更多...
垂直领域大模型的机遇与挑战：从构建到应用

垂直领域大模型的机遇与挑战：从构建到应用

在人工智能技术的浪潮中，大模型以其强大的数据处理和学习能力，成为推动科技进步的重要力量。然而，这种跨领域应用的过程并非一帆风顺，既面临挑战也蕴含机遇。本文从复旦大学的研究工作出发，详细分析大模型的机遇与挑战。 背景 GPT4技术报告指出，GPT4仍处于通用人工智…
阅读更多...
土壤分析仪：分析土壤中的各种养分

土壤分析仪：分析土壤中的各种养分

土壤作为地球生命的摇篮&#xff0c;承载着农作物的生长与繁衍。土壤中的养分是农作物生长的关键。 一、土壤分析仪的工作原理 土壤分析仪是一种采用先进传感技术的仪器设备&#xff0c;能够精确测量土壤中的PH值、电导率、有机质含量、养分含量以及微生物数量等参数。它利用多…
阅读更多...
# Kafka_深入探秘者（9）：kafka 集群管理

# Kafka_深入探秘者（9）：kafka 集群管理

Kafka_深入探秘者&#xff08;9&#xff09;&#xff1a;kafka 集群管理 一、kafka 集群概述 1、kafka 集群概述&#xff1a; 集群是一种计算机系统&#xff0c;它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上&#xff0c;他们可…
阅读更多...
ffmpeg下载/配置环境/测试

ffmpeg下载/配置环境/测试

一、下载 1、访问FFmpeg官方网站下载页面&#xff1a;FFmpeg Download Page&#xff1b; 2、选择适合Windows的版本&#xff08;将鼠标移动到windows端&#xff09;。通常&#xff0c;你会找到“Windows builds from gyan.dev”或者“BtbN GitHub Releases”等选项&#xff0…
阅读更多...
研0学习Python基础4

研0学习Python基础4

1.数组是一种存储大量同性质数据的连续内存空间&#xff0c;只要使用相同的变量名称&#xff0c;便可以连续访问 每一组数据。由于数组元素的便利性&#xff0c;使得大多数程序中都可以看到数组的身影。数组是一 个带有多个数据且模式相同的元素集合。比如&#xff0c;数值所…
阅读更多...
实验2 字符及字符串输入输出与分支程序设计实验

实验2 字符及字符串输入输出与分支程序设计实验

字符及字符串输入输出 从键盘输入两个一位十进制数&#xff0c;计算这两个数之和&#xff0c;并将结果在屏幕上显示出来。 分支程序设计 从键盘输入一字符&#xff0c;判断该字符是小写字母、大写字母、数字或者其他字符。若输入为小写字母&#xff0c;显示“You Input a Lo…
阅读更多...
悼念之前的coplit

悼念之前的coplit

最近学MySQL七月三号还能正常卡bug使用紫色的coplit 然后今天就不行了 可惜了&#xff0c;蓝色的就是GPT3&#xff0c;紫色是4(可能比不上4但至少比蓝色的聪明点&#xff09; 原来一开始问题框上面有三个模式选择&#xff0c;去年下半年的时候这个三个模式就被隐藏掉了&#x…
阅读更多...
成都欣丰洪泰文化传媒有限公司开网店可靠吗？

成都欣丰洪泰文化传媒有限公司开网店可靠吗？

在数字化浪潮席卷全球的今天&#xff0c;电商行业无疑是这场浪潮中的佼佼者。而在这波汹涌的电商大潮中&#xff0c;成都欣丰洪泰文化传媒有限公司凭借其专业的电商服务能力和前瞻的市场洞察力&#xff0c;成为了业界的一匹黑马。今天&#xff0c;就让我们一起揭开这家专注于电…
阅读更多...
python绘制领域矩形

python绘制领域矩形

问题描述&#xff1a; 使用python书写代码实现以下功能&#xff1a;给定四个点的坐标&#xff0c;调用一个函数&#xff0c;可以使原来的四个点分别向四周上下左右移动15距离&#xff0c;分别记录下移动后的坐标&#xff0c;然后画出内侧矩形和外侧矩形 代码&#xff1a; im…
阅读更多...
提升学生岗位管理效率，构建智慧校园学工管理新模式

提升学生岗位管理效率，构建智慧校园学工管理新模式

智慧校园学工管理系统中的“学生岗位”功能&#xff0c;是连接学生与实践机会的桥梁&#xff0c;它集岗位发布、申请、管理、评价于一体&#xff0c;全方位支持学生在校期间的实践锻炼与能力提升。该功能让校园内外的各类组织能轻松在线发布多样化的实践岗位&#xff0c;比如助…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023