Stable Diffusion训练LoRA模型参数详细说明(阿里巴巴堆友AI)

工具:线上模型训练堆友AI

一、训练参数

批量大小 (Batch Size)

  • 作用:每次训练中使用的样本数量。
  • 参考值:可以从 864,取决于显存大小。

训练轮数 (Epochs)

  • 作用:完整遍历训练数据的次数。
  • 参考值:通常在 1050 之间。

批次大小

  • 作用:批次大小是每次迭代中输入模型的样本数量。它在训练深度学习模型时非常重要,因为它影响模型的收敛速度和训练稳定性。较大的批次大小通常会加速训练并使损失曲线更加平滑,但可能需要更多的内存和计算资源。
  • 参考值
  1. 小型网络:例如 16、32
  2. 中型网络:例如 64、128
  3. 大型网络:例如 256、512

一般来说,批次大小不应超过显存的承载能力。常见的选择是 32、64、128。

训练混合精度

  • 作用:混合精度训练指的是在训练过程中同时使用16位和32位浮点数,以加快训练速度并节省显存。使用半精度 (16位) 可以减少内存使用,同时通过合适的缩放策略来保持数值稳定性。混合精度训练对现代 GPU(如 NVIDIA 的 RTX 系列)支持良好,可以实现更高的吞吐量。
  • 参考值
  • 在支持混合精度的环境(如使用 TensorFlow 和 PyTorch 的适当 API)下,可以直接使用。例如,使用 TensorFlow 的 tf.keras.mixed_precision.set_global_policy('mixed_float16')

需要说明的是,在选择使用混合精度时,建议确保硬件和库的支持,通常情况下,最常见的选择是启用混合精度。

二、样图设置

样图分辨率

  • 作用:样图分辨率指的是输入图像的像素尺寸,通常以宽度x高度(例如,512x512等)的形式表示。分辨率影响模型生成图像的细节及质量,较高的分辨率能够提供更多的细节,但也需要更大的计算资源。
  • 参考值
  1. 256x256:适用于基础任务或资源有限的情况
  2. 512x512:常用的中等分辨率,适合大多数生成任务
  3. 1024x1024或更高:用于高质量生成要求,如艺术作品或复杂场景

随机种子数

  • 作用:随机种子数是一个用于初始化随机数生成器的值,确保训练或生成过程的可重复性。使用相同的种子数可以得到相同的随机结果,这在调试和实验中非常重要。
  • 参考值:通常为任意整数。建议固定一个值以便于后续的实验对比。

采样方式

  • 作用:采样方式决定了在生成图像时如何从模型的潜在空间中选择样本。不同的采样技术会影响生成图像的多样性和质量。
  • 参考值
  1. 随机采样(Random Sampling):简单且快速,但可能导致生成结果不稳定
  2. 温度采样(Top-k或Top-p Sampling):通过限制选择的候选范围来提高生成质量
  3. 幂律分布采样(Nucleus Sampling):将概率之和限制在特定的阈值内,以防止选择低概率的样本

提示词

  • 作用:提示词是给模型输入的文字描述,用于引导生成过程。提示词的质量直接影响生成图像的相关性和满意度。
  • 参考值:提示词应简洁明了,例如"一只在森林中漫步的狐狸"。使用具体的细节和形容词可以获得更准确的结果。

负向提示词

  • 作用:负向提示词是用来告诉模型在生成图像时应避免的特征或内容。这对于消除不必要的元素、控制生成结果的方向非常有用。
  • 参考值:负向提示词应明确,通常包括不希望出现的对象或属性,例如“无文字、无模糊”。使用有效的负向提示词可以提高生成图像的质量和准确性。

三、保存设置

每N轮保存一个LoRA

  • 作用:
  1. 检查点保存:在训练过程中,尤其是长时间训练的情况下,保存模型可以避免因为意外情况(如崩溃或中断)丢失训练进度。
  2. 模型版本管理:随着训练的进行,模型参数会不断变化。定期保存可以帮助研究人员回顾不同版本的模型,进行比较,以选择最佳的模型。
  3. 减少过拟合风险:通过观察不同轮次上保存的模型性能,可以判断是否出现了过拟合现象,从而选择最佳的模型参数。
  4. 恢复训练:如果训练由于某种原因被终止,可以从最近的保存点继续训练,而不必从头开始。
  • 参考值:
  • N的选择:N的具体值通常取决于几个因素,包括但不限于:
  1. 训练数据集的大小与复杂度
  2. 实验的目标(如需要更精细的模型调优)
  3. 训练过程中的计算资源(如GPU的使用情况)
  4. 模型的结构与参数量

常见的参考值可能在10到100之间。例如,对于小型数据集和简单模型,可能选择每10轮保存一次,而对于复杂模型或大数据集,则可能选择每50或100轮保存一次。

LoRA保存精度

  • 作用:保存精度指的是在训练过程中使用的数据精度(如浮点数的位数)。常见的有FP32(32位浮点数)、FP16(16位浮点数)等。使用低精度可以减少显存占用,提高训练速度,但可能会影响模型的收敛性和准确性。
  • 参考值:FP16常用于加速训练,尤其是在支持Tensor Core的硬件上。FP32则适合对精度要求高的任务。

四、学习率&优化器

总学习率

  • 作用:总学习率是模型所有参数的学习率,它控制着模型学习的步幅大小。较高的学习率可能导致训练不稳定,而较低的学习率则可能使模型收敛速度缓慢。
  • 参考值:常用的总学习率范围为1e-51e-4,具体值需要根据任务和网络架构进行调整。

Unet学习率

  • 作用:这是专门为Unet网络部分设置的学习率,用于分别调整其学习参数。Unet是处理图像相关任务的重要部分,可能需要单独优化。
  • 参考值:一般建议设置为1e-41e-5

文本编码学习率

  • 作用:与Unet学习率类似,这是用于文本编码器部分的学习率。文本编码器通常用于处理语言相关的输入,因此也需要单独优化。
  • 参考值:通常设置为1e-55e-5

学习率预热(%)

  • 作用:学习率预热是指在训练初期逐渐增加学习率以避免模型不稳定。这一方法有效确保模型在早期能够平稳地找到合适的收敛区间。
  • 参考值:建议预热期占总训练周期的5%10%,具体可以根据训练的稳定性调整。

学习率调度器

  • 作用:这是一种动态调整学习率的策略,通常在训练过程中根据epoch或batch的变化来调整学习率,以提高收敛效率。
  • 参考值

Linear

线性调度器按照线性函数逐渐降低学习率。通常,学习率从初始值开始以一定的速率减少到最终值。这种方法简单易懂,适合于一些简单的训练过程。

Cosine

余弦调度器基于余弦函数,学习率在训练过程中呈现余弦曲线的形状。这意味着学习率在训练开始时快速减小,之后逐渐趋近于零。该方法有助于在训练的后期进行精细调整。

Cosine with Restarts

余弦重启调度器在基本的余弦调度器上进行了改进,允许学习率在一定的周期内进行多次重启。每次重启时,学习率从较高的值开始,并按照余弦函数降低。这种方法可以帮助模型在多个局部最优之间进行更好的探索。

Polynomial

多项式调度器学习率遵循多项式函数进行调整。用户可以设置多项式的次数,以及学习率从初始值下降到最低值的方式。这种方法可以提供相对平滑的学习率变化,但设置的参数较多。

Constant

常量调度器在整个训练期间保持学习率不变。虽然简单,但在某些情况下可能无法很好地适应训练动态,容易导致训练过程中的震荡或收敛不良。

Constant with Warmup

常量带热身调度器在训练初期采用一个小的学习率逐渐增加到预设的常量学习率。这种热身策略有助于在训练初期稳定模型参数,避免大梯度带来的不稳定性。

总的来说,选择合适的学习率调度器依赖于具体的任务和数据集。调度策略的选用和调整可以对训练结果产生显著影响。

优化器

  • 作用:优化器是用于更新网络权重的算法。不同的优化器对训练效果和收敛速度有不同的影响。
  • 参考值

AdamW

AdamW是Adam优化器的一种变体。它在Adam的基础上,引入了权重衰减(weight decay)来防止过拟合。AdamW通过将权重衰减与更新规则分离,能更有效地管理优化过程,尤其是在深度学习中表现良好。

AdamW8bit

AdamW8bit是一种改进版本,将AdamW的参数存储精度降低到8位。这减少了内存使用和计算负担,适用于大模型的训练,尤其在GPU内存有限的环境中。

PagedAdamW8bit

PagedAdamW8bit在AdamW8bit的基础上进一步优化,通过将参数分片或分页,以更有效地处理内存,适合在更小的GPU内存中训练大型模型。

Lion

Lion是一种新的优化器,通常被认为在某些环境下比Adam更有效。它在梯度更新时引入了方向的概念,通常在收敛速度和稳健性上表现更好。

Lion8bit

Lion8bit是Lion优化器的8位版本,通过降低存储精度来减少内存使用。它适用于大型模型和资源受限的环境。

PagedLion8bit

PagedLion8bit在Fat Duck格的基础上,进一步优化内存使用,适合在内存受限的环境中训练大型深度学习模型。

SGDNesterov

SGDNesterov是对SGD优化器的一个改进,结合了Nesterov加速的方法。生成的梯度更具前瞻性,通常可以更快地收敛。

SGDNesterov8bit

SGDNesterov8bit是SGDNesterov的8位版本,旨在减少内存占用,适合在深度学习大型模型的训练中使用。

DAdaptation

DAdaptation是一种自适应优化器,它利用数据的特点评估学习率,以在训练过程中的不同阶段进行调整。

DAdaptAdam

DAdaptAdam是一个结合了Adaptive方法(如Adam)和数据自适应的方法,旨在提升模型训练的效率和效果。

DAdaptAdaGrad

DAdaptAdaGrad是AdaGrad的一种自适应变体,利用数据特征动态调整学习速率,提高收敛速度。

DAdaptAdanIP

DAdaptAdanIP结合了Adan优化器与自适应特征,以更好地满足各种训练条件。

DAdaptLion

DAdaptLion结合了Lion优化器与自适应机制,旨在实现更佳的收敛性和效果。

DAdaptSGD

DAdaptSGD是对SGD的自适应变体,根据特定的特征和情况动态调整学习率,提升训练效率。

AdaFactor

AdaFactor是一种内存高效的优化器,特别适用于处理大型模型。它通过引入分解的梯度和新颖的学习率调整技术,来减少训练中的内存占用。

Prodigy

Prodigy是一种先进的优化器,通常结合了一系列现代优化技术,旨在高效地训练大型模型,增强学习效果和收敛速度。

重启次数

  • 作用:这是在训练时允许的学习率重启次数,重启可以帮助模型避免局部最优并尝试新的学习周期。
  • 参考值:一般设置为13次,根据训练需求调整。

仅训练Unet

  • 作用:这一参数用于指定训练时是否仅更新Unet部分的权重,适用于模型分阶段训练的情况。
  • 参考值:通常在迁移学习的初期,可能只训练Unet部分,之后再训练其他部分。

仅训练文本编码器

  • 作用:与仅训练Unet类似,此参数用来指定训练时是否仅更新文本编码器的权重。
  • 参考值:此策略通常用于处理文本输入的模型调整,可以在训练过程中阶段性地训练文本编码器。

五、数据集设置

图片分辨率

  • 作用:图片分辨率指的是输入图片的宽度和高度(以像素为单位)。分辨率会影响模型的训练效果和推理速度。高分辨率可以提供更多的细节信息,但也会增加训练时间和计算资源消耗。
  • 参考值:常见的分辨率是224x224、256x256、512x512等,根据具体任务而定。

是否启动arb桶

  • 作用:ARB桶是一种动态调整输入分辨率的方法,依据任务需求和模型性能自动选择最适合的分辨率,可以提高训练效率和模型精度。
  • 参考值:一般可选择“是”或“否”。如果任务具有多样性,启动ARB桶可以带来更好的效果。

arb桶最小分辨率

  • 作用:设定在使用 ARB 策略时,允许输入的最低分辨率。较低的分辨率可以减少计算资源消耗,但可能损失部分细节信息。
  • 参考值:通常设置为64x64、128x128或256x256,具体视场景而定。

arb分桶最大分辨率

  • 作用:设定在使用 ARB 策略时,允许输入的最高分辨率。较高的分辨率可以提高模型的分类或检测精度,但也会增加计算负担。
  • 参考值:可设定为512x512、1024x1024,具体取决于可用的计算资源和训练任务的需求。

arb分桶最大分辨率划分单位

  • 作用:这个参数通常用于定义在 ARB 策略下如何对最大分辨率进行划分的粒度。它影响分辨率变化的灵活性和训练的适应性。
  • 参考值:可以设定为16像素、32像素等,具体依据最大分辨率和整体训练需求进行调整。

六、网络设置

网络大小

  • 作用:网络大小通常指模型的参数数量或层数,它直接影响模型的表现力和训练时间。更大的网络可能捕捉到更多的数据特征,但也更易过拟合。
  • 参考值:常见的文本或图像模型(如BERT、ResNet)可能包含数百万到数十亿的参数。选择时需考虑任务的复杂性与可用的计算资源。

网络额外参数

  • 作用:在LoRA中,引入的额外参数用于适应低秩矩阵分解,这些参数在微调时更新,而主模型参数保持不变。这种设计旨在减少训练时的参数更新量,同时保持模型的表现。
  • 参考值:额外参数的数量通常可以设定为主模型参数的1%到5%,具体取决于任务的复杂程度。

网络Alpha

  • 作用:网络Alpha通常是LoRA中的一个超参数,它控制低秩适应矩阵的缩放因子。Alpha越大,表示网络将对低秩适应的贡献越大,从而可能提升模型的表现,但也可能导致过拟合。
  • 参考值:一般选择范围在16到64之间,具体值可以通过实验调优以适应不同的任务和数据集。

七、打标设置

打乱标签

  • 作用:打乱标签的主要目的是增加模型的鲁棒性,防止模型学习到标签的顺序或模式,从而提高其泛化能力。这在数据集较小或存在某种潜在依赖性的情况下尤其重要。
  • 参考值:通常在每个epoch开始时打乱一次,或者在每个batch中打乱。可以设置为布尔值(True/False),一般情况下,推荐使用True。

使用带权重token

  • 作用:带权重token的设置用于处理不平衡的数据集。当某些类别的样本数量远多于其他类别时,可以给这些类别的token分配较小的权重,而给稀有类别的token分配较大的权重,从而使得模型在训练时更加关注这些稀有类别。
  • 参考值:权重的设置通常依赖于具体的任务和数据集的类别分布。可以通过类别频率计算权重,通常在(0.5到10)之间(例如,稀有类别权重为5,常见类别权重为1)。

保持N个token

  • 作用:保持一定数量的token可以用于控制输入的序列长度,确保模型处理的输入不会超过其最大处理能力(如学习到的上下文信息),并提高训练效率。
  • 参考值:通常,N的取值在1到512之间,具体要根据模型的架构来决定。例如,BERT模型在其训练中常用的最大token数量是512。

最大token长度

  • 作用:最大token长度是指在模型输入中,允许的最大序列长度。超出此长度的序列会被截断,或者进行其他处理(如拆分)。这有助于减少内存开销和提高训练速度,同时保证模型的输入符合要求。
  • 参考值:最常见的最大token长度设置为128、256或512,具体值仍然取决于模型的设计和任务特点。大型模型如G通常允许512个token,而一些具体任务可能只需要128个token即可。

八、噪音设置

噪音偏移

  • 作用:噪音偏移是指在生成过程中添加的基于某种分布的噪音。这可以帮助模型学习更复杂的特征和获取更具多样性的输出。
  • 参考值:通常在0到1之间,一般会根据具体任务进行调整,常见值在0.1到0.5之间。

多分辨率(金字塔)噪音扩散次数

  • 作用:指在不同分辨率下进行多次噪音扩散。这种方法可以帮助模型更好地理解细节和大局,从而提高生成图像的质量。
  • 参考值:常见的值如0到200步,具体取决于任务的复杂性。

多分辨率(金字塔)衰减率

  • 作用:衰减率决定了在多分辨率处理时噪音扩散的强度衰减速率。合适的衰减率可以提高生成的稳定性和图像质量。
  • 参考值:衰减率通常选择在0.1到0.9之间,具体根据模型行为调整。

九、高级参数

随机种子数

  • 作用:随机种子是用于初始化随机数生成器的值。这确保了实验的可重复性。相同的种子会产生相同的随机序列。
  • 参考值:-1(随机)。

clip跳过

  • 作用:Clip 跳过是指在训练过程中跳过某些 Clip 层的计算。这可以减少训练时间,同时可能提高生成效果。
  • 参考值:通常选择在1到3之间,具体根据模型架构和目标任务进行调整。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/878979.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

骨传导耳机推荐排名,精选五款热门好用不踩雷推荐

近两年来,骨传导运动蓝牙耳机在运动领域内日益流行。与传统耳机相比,它的显著优势是能够保持双耳开放,不会堵塞耳道,消除了入耳式耳机可能引起的不适感。此外还能避免运动时耳内出汗可能导致的各种卫生和健康问题。很多人就问了&a…

C# 使用阿里DOH

阿里公共DNS 1. DNS over HTTPs(DoH) 阿里公共DNS通过RFC 8484指定的经过TLS加密的HTTP连接提供DNS解析 DNS over HTTPs(DoH)的URI接口 :(仅提供TLS API) https://dns.alidns.com/dns-query?https://alidns_ip/dn…

Python 调用手机摄像头

Python 调用手机摄像头 在手机上安装软件 这里以安卓手机作为演示,ISO也是差不多的 软件下载地址 注意:要想在电脑上查看手机摄像头拍摄的内容的在一个局域网里面(没有 WIFI 可以使用 热点 ) 安装完打开IP摄像头服务器 点击分享查看IP 查看局域网的I…

谷粒商城のNginx

文章目录 前言一、Nginx1、安装Nginx2、相关配置2.1、配置host2.2、配置Nginx2.3、配置网关 前言 本篇重点介绍项目中的Nginx配置。 一、Nginx 1、安装Nginx 首先需要在本地虚拟机执行: mkdir -p /mydata/nginx/html /mydata/nginx/logs /mydata/nginx/conf在项目…

数学建模笔记——TOPSIS[优劣解距离]法

数学建模笔记——TOPSIS[优劣解距离法] TOPSIS(优劣解距离)法1. 基本概念2. 模型原理3. 基本步骤4. 典型例题4.1 矩阵正向化4.2 正向矩阵标准化4.3 计算得分并归一化4.4 python代码实现 TOPSIS(优劣解距离)法 1. 基本概念 C. L.Hwang和 K.Yoon于1981年首次提出 TOPSIS(Techni…

Windows操作系统sid系统唯一标识符查看和修改

1、sid介绍 sid 作为windows系统唯一的标识,对某些集群业务有依赖关系,如果重复可能导致集群部署异常。 如:域控AD 就依赖 sid 功能。 但是某个云主机或虚拟机使用同一个ghost进行操作系统部署,就可能会导致重复的情况&#xf…

java-在idea中antrl的hello world

java-在idea中antrl的hello world 1. 在idea中安装ANTLR V4的插件2. 下载ANTLR的jar包3. idea中创建普通的java项目4. 创建一个Hello.g4的文件5. 使用idea生产接口文件6. java创建一个类和main方法7. 调试输出8. 参考链接 1. 在idea中安装ANTLR V4的插件 路径如下,…

为什么现在都流行开放式耳机?平价高品质蓝牙耳机推荐大赏

现在开放式耳机流行,是因为相比入耳式,它具有以下的优势: 一、佩戴舒适 开放式耳机通常设计轻盈,不直接刺激耳膜,长时间使用也不会给耳膜带来压迫感。而且其不入耳的设计不会堵塞耳道,使用较长时间后&…

Notepad++ 修改 About

1. 用这个工具,看标题,修改 1700 里的 Caption, 保存为 xx.exe, 2.修改链接,先准备如上。 2.1 使用插件 Hex Editor,拖入刚保存的 Notepad.exe 到 Notepad.exe, 按 c..S..H 2.2 按 ctrlf 查找 68 00 74 00 74 00 70 00 73 00 3…

gitlab+habor+jenkins+k8s 安装流程及配置实现CICD

以下是基本的安装流程及配置实现CICD的步骤: 安装GitLab: 安装依赖项:yum install curl policycoreutils-python openssh-server启动和设置SSH:systemctl enable sshd && systemctl start sshd安装Postfix:yum…

深入理解数据库的 4NF:多值依赖与消除数据异常

在数据库设计中, "范式" 是一个常常被提到的重要概念。许多初学者在学习数据库设计时,经常听到第一范式(1NF)、第二范式(2NF)、第三范式(3NF)以及 BCNF(Boyce-…

线程的四种操作

所属专栏:Java学习 1. 线程的开启 start和run的区别: run:描述了线程要执行的任务,也可以称为线程的入口 start:调用系统函数,真正的在系统内核中创建线程(创建PCB,加入到链…

利士策分享,从零开始创业:一场勇敢而精彩的旅程

利士策分享,从零开始创业:一场勇敢而精彩的旅程 附上可落地执行的策略: 在创业的征途中,理论固然重要,但可落地执行的策略才是推动我们前进的实际动力。 以下是一些具体且可操作的策略,希望可以帮助你从零…

Linux grep筛选命令及管道符|详解

grep grep命令的全称为 global regular expression print,regular expression也就是正则表达式,这里是指通过正则表达式进行匹配检索 grep的用法为 grep 关键字 文件或目录路径 常用的option选项为-n,作用为显示检索出的内容所在行&#…

vue通过html2canvas+jspdf生成PDF问题全解(水印,分页,截断,多页,黑屏,空白,附源码)

前端导出PDF的方法不多,常见的就是利用canvas画布渲染,再结合jspdf导出PDF文件,代码也不复杂,网上的代码基本都可以拿来即用。 如果不是特别追求完美的情况下,或者导出PDF内容单页的话,那么基本上也就满足业…

面试—Linux

目录 ps tar netstat 文件处理命令(增删改) 文件操作(查看) 权限管理 文件搜索 网络管理 压缩命令 Vim编辑器 ps ps命令用于显示当前系统的进程状态 包括一些进程ID,终端,运行时间等 常见参数 …

《数字信号处理》学习05-单位冲击响应与系统响应

目录 一,单位冲激响应 二,LTI系统对任意序列的系统响应 三,LTI系统的性质 通过上一篇文章《数字信号处理》学习04-离散时间系统中的线性时不变系统-CSDN博客的学习,我已经知道了离散时间线性时不变系统(LTI&#x…

GQA (group query attention)

什么是GQA? 多个head的Query共用一组K和V。llama模型就用到该技术。 需要明确几点: 1.group有几组 2.每个group对应几个head 3.q以head为单位 k,v以group为单位 每个head/group特征维度都是head_dim 代码实现 import torch.nn as nn import torch …

串口通信协议(UART)

简介 uart通讯协议,是一种成本低、容易使用、通信线路简单,可实现两个设备的互相通信的协议;是一种全双工,设备点对点通信的协议。下面从硬件电路、电平标准和串口参数等方面来了解uart通信协议。 硬件电路 硬件电路非常简单&am…

深入Redis:强大的主从复制

如果某个服务器或者程序,只有一个节点(服务器),就会有很大的问题。比如可用不高,并发量也比较低。引入分布式系统,也主要是为了解决上述的单点问题。 Redis,主要部署在分布式系统上。在分布式系…