【kohya】训练自己的LoRA模型

文章目录

  • 序言
  • 准备环境
  • 准备图片
  • 处理图片
  • 下载kohya_ss代码
  • 修改pyvenv.cfg
  • 启动界面
  • 访问地址
  • 生成字幕
  • 准备训练的文件夹
  • 配置训练参数
  • 开始训练
  • 遇到的问题：

序言

在把玩stable diffusion的webUI和comfyUI后，思考着自己也微调一个个性化风格的checkpoint、LyCORIS或LoRA。

做好，环境问题搞崩心态的准备。
我的旧电脑，GPU才4G，直接跑蹦了三次。

在没有好电脑的情况下，还是别自己制作模型啦，费时间、费电脑，GPU不够的情况下，肯定跑不出来。

准备环境

python：3.10.9（官方推荐），官方强调一定不能是3.11+，否则跑不了。

准备图片

大概需要准备10-20张图片。
这里我们用华仔的图片：

https://stable-diffusion-art.com/wp-content/uploads/2023/09/lora_training_captions.zip

在这里插入图片描述

处理图片

这个是在线图片处理网站：https://www.birme.net/

在这里插入图片描述

下载kohya_ss代码

https://github.com/bmaltais/kohya_ss#setup

git clone https://github.com/bmaltais/kohya_ss.git

下载好了后，在目录下打开cmd
运行：

.\setup.bat

安装过程中，会有报错信息，如下面我的安装信息，就有error错误的。
这时，我们再单独安装他们即可。

我的安装信息如下：

07:30:01-098969 INFO     Python 3.10.9 on Windows
07:30:01-114591 INFO     nVidia toolkit detected
07:30:22-313445 INFO     Torch 2.0.1+cu118
07:30:27-317148 INFO     Torch backend: nVidia CUDA 11.8 cuDNN 8700
07:30:27-524602 INFO     Torch detected GPU: NVIDIA GeForce GTX 960M VRAM 4096 Arch (5, 0) Cores 5
07:30:27-546322 INFO     Installing modules from requirements_windows_torch2.txt...
07:30:27-571730 INFO     Installing package: torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-urlhttps://download.pytorch.org/whl/cu118
07:30:31-836436 INFO     Installing package: xformers==0.0.21
07:31:57-013124 INFO     Installing package: bitsandbytes==0.35.0
07:32:51-316790 INFO     Installing package: tensorboard==2.12.3 tensorflow==2.12.0
07:37:59-014316 ERROR    Error running pip: install --upgrade tensorboard==2.12.3 tensorflow==2.12.0
07:37:59-014316 INFO     Installing modules from requirements.txt...
07:37:59-014316 WARNING  Package wrong version: accelerate 0.23.0 required 0.19.0
07:37:59-014316 INFO     Installing package: accelerate==0.19.0
07:38:03-229388 INFO     Installing package: aiofiles==23.2.1
07:38:06-751172 INFO     Installing package: altair==4.2.2
07:38:38-267155 INFO     Installing package: dadaptation==3.1
07:38:51-524642 INFO     Installing package: diffusers[torch]==0.18.2
07:38:59-209713 INFO     Installing package: easygui==0.98.3
07:39:02-399649 WARNING  Package wrong version: einops 0.6.1 required 0.6.0
07:39:02-415277 INFO     Installing package: einops==0.6.0
07:39:06-136609 INFO     Installing package: fairscale==0.4.13
07:39:25-893111 INFO     Installing package: ftfy==6.1.1
07:39:29-690634 INFO     Installing package: gradio==3.36.1
07:40:36-392666 WARNING  Package wrong version: huggingface-hub 0.17.2 required 0.15.1
07:40:36-400190 INFO     Installing package: huggingface-hub==0.15.1
07:40:40-941236 INFO     Installing package: invisible-watermark==0.2.0
07:41:24-129685 INFO     Installing package: lion-pytorch==0.0.6
07:41:30-507921 INFO     Installing package: lycoris_lora==1.8.3
07:41:37-013021 INFO     Installing package: open-clip-torch==2.20.0
07:41:50-051513 INFO     Installing package: opencv-python==4.7.0.68
07:42:25-089723 INFO     Installing package: prodigyopt==1.0
07:42:28-598267 INFO     Installing package: pytorch-lightning==1.9.0
07:42:38-209014 WARNING  Package wrong version: rich 13.5.3 required 13.4.1
07:42:38-215011 INFO     Installing package: rich==13.4.1
07:42:43-854357 WARNING  Package wrong version: safetensors 0.3.3 required 0.3.1
07:42:43-860357 INFO     Installing package: safetensors==0.3.1
07:42:48-383515 INFO     Installing package: timm==0.6.12
07:42:54-170484 INFO     Installing package: tk==0.1.0
07:42:57-803992 INFO     Installing package: toml==0.10.2
07:43:01-527071 WARNING  Package wrong version: transformers 4.33.2 required 4.30.2
07:43:01-533037 INFO     Installing package: transformers==4.30.2
07:43:24-744913 INFO     Installing package: voluptuous==0.13.1
07:43:29-529060 INFO     Installing package: wandb==0.15.0

修改pyvenv.cfg

我的路径：E:\openai\project\kohya_ss\venv
我习惯性的改为true。原因是：1.来节省空间，2来已经安装过的模块，就不用再安装一遍了。

include-system-site-packages = true

启动界面

在kohya_ss目录下，双击gui.bat文件，进行启动。
在这里插入图片描述

访问地址

http://127.0.0.1:7860/

这个地址和stable diffusion webUI是同一个地址。

生成字幕

打开我们启动的页面：
路径：Utilities – Captioning – BLIP Captioning（WD14 Captioning也可以）

选择文件夹，选择我们处理好图片的文件夹
在这里插入图片描述
最后点击：Caption images。就可以帮我们生成字幕了。
命令行中打印的日志如下：

To create a public link, set `share=True` in `launch()`.
19:29:13-558295 INFO     Captioning files in E:/下载/AI绘图/AIGC/hanli...
19:29:13-561260 INFO     ./venv/Scripts/python.exe "finetune/make_captions.py" --batch_size="1" --num_beams="1"--top_p="0.9" --max_length="75" --min_length="5" --beam_search --caption_extension=".txt""E:/下载/AI绘图/AIGC/hanli"--caption_weights="https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth"
Current Working Directory is:  E:\openai\project\kohya_ss
load images from E:\下载\AI绘图\AIGC\hanli
found 13 images.
loading BLIP caption: https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth
Downloading (…)solve/main/vocab.txt: 100%|███████████████████████████████████████████| 232k/232k [00:00<00:00, 360kB/s]
Downloading (…)okenizer_config.json: 100%|██████████████████████████████████████████████████| 28.0/28.0 [00:00<?, ?B/s]
Downloading (…)lve/main/config.json: 100%|████████████████████████████████████████████████████| 570/570 [00:00<?, ?B/s]
100%|█████████████████████████████████████████████████████████████████████████████| 1.66G/1.66G [09:01<00:00, 3.30MB/s]
load checkpoint from https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth
BLIP loaded
100%|██████████████████████████████████████████████████████████████████████████████████| 13/13 [00:30<00:00,  2.36s/it]
done!
19:41:08-386110 INFO     ...captioning done

可以看出，它下载了一个1.6G的文件，这个问题，存在路径：C:\Users\yutao\.cache\torch\hub\checkpoints\model_large_caption.pth
可以看出存放在C盘，非常不友好。

生成字幕，效果如下：
在这里插入图片描述
随便打开一个：

在这里插入图片描述

准备训练的文件夹

设置准备训练的文件夹。
在这里插入图片描述

点击Prepare training data按钮，会生成如下图所示的文件夹：

在这里插入图片描述

配置训练参数

路径： LoRa – Training – source model

在这里插入图片描述
路径： LoRa – Training – Folders

在这里插入图片描述
路径： LoRa – Training – parameters – basic

在这里插入图片描述

参数：

Optimizer extra arguments : scale_parameter=False relative_step=False warmup_init=False

在这里插入图片描述

在这里插入图片描述
路径： LoRa – Training – parameters – advanced
在这里插入图片描述

在这里插入图片描述

参数说明：LoRA-training-parameters

开始训练

点击“Start training” 开始训练。

遇到的问题：

这里我遇到了一个警告：

WARNING[XFORMERS]: xFormers can't load C++/CUDA extensions. xFormers was built for:PyTorch 2.0.1+cu118 with CUDA 1108 (you have 2.0.1+cpu)Python  3.10.11 (you have 3.10.9)Please reinstall xformers (see https://github.com/facebookresearch/xformers#installing-xformers)Memory-efficient attention, SwiGLU, sparse and more won't be available.

上面是说，CUDA没法使用，也就意味着，我们无法调用GPU来跑，只能调用CPU来跑。

执行如下命令：

pip uninstall -y torch torchvision torchaudiopip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

即可解决

参考地址：

SDXL LORA Training locally with Kohya

How to train Lora models

AnimateDiff｜高质量文本到动画视频生成

LoRA-training-parameters

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/86948.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2023 “华为杯” 中国研究生数学建模竞赛（D题）深度剖析|数学建模完整代码+建模过程全解全析

2023 “华为杯” 中国研究生数学建模竞赛（D题）深度剖析|数学建模完整代码+建模过程全解全析

问题一&#xff1a;区域碳排放量以及经济、人口、能源消费量的现状分析 思路&#xff1a; 定义碳排放量 Prediction 模型: CO2 P * (GDP/P) * (E/GDP) * (CO2/E) 其中: CO2:碳排放量 P:人口数量 GDP/P:人均GDP E/GDP:单位GDP能耗 CO2/E:单位能耗碳排放量 2.收集并统计相关…
阅读更多...
8应用服务与领域服务

8应用服务与领域服务

本系列包含以下文章&#xff1a; DDD入门DDD概念大白话战略设计代码工程结构请求处理流程聚合根与资源库实体与值对象应用服务与领域服务&#xff08;本文&#xff09;领域事件CQRS 案例项目介绍 # 既然DDD是“领域”驱动&#xff0c;那么我们便不能抛开业务而只讲技术&…
阅读更多...
微信小程序demo 调用支付jsapi缺少参数 total_fee，支付签名验证失败 究极解决方案

微信小程序demo 调用支付jsapi缺少参数 total_fee，支付签名验证失败 究极解决方案

坑一&#xff1a;调用支付jsapi缺少参数 total_fee 修正后的uniapp代码如下&#xff1a; uni.requestPayment({provider: wxpay,timeStamp: String(data.timestamp),nonceStr: data.nonceStr,package: prepay_id data.prepayId,signType: HMAC-SHA256,paySign: data.sign,su…
阅读更多...
ElasticSearch - 索引库和文档相关命令操作

ElasticSearch - 索引库和文档相关命令操作

目录 一、ElasticSearch 索引库操作 1.1、mapping 属性 1.2、索引库相关操作 1.2.1、创建索引库 1.2.2、增加和删除索引库 1.2.3、修改索引库 1.3、文档操作 1.3.1、添加文档 1.3.2、文档的查询和删除 1.3.3、修改文档 1.全量修改&#xff1a;会先删除旧文档&#xf…
阅读更多...
rust泛型

rust泛型

泛型&#xff0c;英文是generic。 泛型是一种参数化多态。就是把类型作为参数&#xff0c;使用时才指定具体类型。 这样一套代码可以应用于多种类型。比如Vec<T>&#xff0c;可以是整型向量Vec<i32>&#xff0c;也可以是浮点型向量Vec<f64>。 Rust中的泛型属…
阅读更多...
Vue 07 Vue中的数据代理

Vue 07 Vue中的数据代理

通过数据代理&#xff0c;我可以方便的使用vm.属性&#xff0c;修改data中的属性 什么是数据代理 数据代理&#xff1a;通过一个对象代理对另一个对象中属性的操作&#xff08;读/写&#xff09; 我们修改obj2的x属性&#xff0c;其实修改的是obj的x属性 <!DOCTYPE html&…
阅读更多...
基于springboot消防员招录系统

基于springboot消防员招录系统

博主主页&#xff1a;猫头鹰源码 博主简介&#xff1a;Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容&#xff1a;毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目介绍…
阅读更多...
设计模式：观察者模式（C++实现）

设计模式：观察者模式（C++实现）

观察者模式&#xff08;Observer Pattern&#xff09;是一种设计模式&#xff0c;用于定义对象之间的一对多依赖关系&#xff0c;当一个对象&#xff08;称为主题或可观察者&#xff09;的状态发生变化时&#xff0c;它的所有依赖对象&#xff08;称为观察者&#xff09;都会收…
阅读更多...
vue-cli创建项目、vue项目目录结(运行vue项目)、ES6导入导出语法、vue项目编写规范

vue-cli创建项目、vue项目目录结(运行vue项目)、ES6导入导出语法、vue项目编写规范

vue-cli创建项目、vue项目目录结构、 ES6导入导出语法、vue项目编写规范 1 vue-cli创建项目 1.1 vue-cli 命令行创建项目 1.2 使用vue-cli-ui创建 2 vue项目目录结构 2.1 运行vue项目 2.2 vue项目的目录结构 3 es6导入导出语法 4 vue项目编写规范 4.1 修改项目 4.2 以后…
阅读更多...
DDL、DML

DDL、DML

文章目录 一、字段1.1 添加字段1.2 给列添加默认值1.3 修改列的属性1.4 更新1.5 删除1.6 同时修改多列 二、索引2.1 普通索引2.2 唯一键 三、创建表四、字段json不是json类型&#xff0c;但是也可以按照json存储内容补充 default 0 和 default 0没区别 一、字段 1.1 添加字段 …
阅读更多...
【深度学习推荐系统 工程篇】三、浅析FastTransFormer看 GPU推理优化 思路

【深度学习推荐系统 工程篇】三、浅析FastTransFormer看 GPU推理优化 思路

前言 在搜索/推荐场景中&#xff08;一般是CTR/CVR预估&#xff09;Serving的模型一般是稀疏参数占比比较大&#xff0c;工程落地方面会遇到两方面的困难&#xff1a; 稀疏参数的存储/IO网络结构的优化 对于稀疏参数的存储/IO&#xff0c;在上一篇【深度学习推荐系统 工程篇…
阅读更多...
电子信息工程专业课复习知识点总结：(五）通信原理

电子信息工程专业课复习知识点总结：(五）通信原理

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 第一章通信系统概述——通信系统的构成、各部分性质、性能指标1.通信系统的组成&#xff1f;2.通信系统的分类&#xff1f;3.调制、解调是什么&#xff1f;有什么用…
阅读更多...
详解MySQL存储引擎

详解MySQL存储引擎

前言： 📕作者简介：热爱编程的小七，致力于C、Java、Python等多编程语言，热爱编程和长板的运动少年！ 📘相关专栏Java基础语法，JavaEE初阶，数据库，数据结构和算法系列等，大家有兴趣的可以看一看。 😇😇😇有兴趣的话关注博主一起学习，一起进步吧！ 一、MySQL存…
阅读更多...
【Excel函数】Vlookup的函数的使用

【Excel函数】Vlookup的函数的使用

VLOOKUP（垂直查找）是Microsoft Excel中一种非常有用的函数，用于查找并返回一个特定值所在列的相关信息。它通常用于在大型数据表中查找数据。 以下是VLOOKUP函数的基本语法： (lookup_value, table_array, col_index_num, [range_lookup]) lookup_value：这是您要查找的值或…
阅读更多...
rust枚举

rust枚举

一、定义枚举 1.使用enum关键字定义枚举。 语法格式如下 enum enum_name {variant1,variant2,variant3 }例如 enum Fruits {Banana, // 香蕉Pear, // 梨Mandarin, // 橘子Eggplant // 茄子 }2.可以为枚举成员添加属性 enum Book {Papery(u32),Electronic(String), } let bo…
阅读更多...
【CNN-FPGA开源项目解析】卷积层01--floatMult16模块

【CNN-FPGA开源项目解析】卷积层01--floatMult16模块

文章目录 (基础)半精度浮点数的表示和乘运算16位半精度浮点数浮点数的乘运算 floatMult16完整代码floatMult16代码逐步解析符号位sign判断指数exponent计算尾数fraction计算尾数fraction的标准化和舍位整合为最后的16位浮点数结果[sign,exponent,fraction] 其他变量宽度表alway…
阅读更多...
系统运维工程师

系统运维工程师

文章目录 引言I 任职要求II Sentinel2.1 安装2.2 开放防火墙端口：III zipkinsee also引言 云效devops部署解决方案： Java应用构建并部署ECS、K8s、SAE、EDAS。 部署微服务的服务器选择。域名劫持：网站被拦截到特定网址，如何解决。你认为初级运维工程师和高级运维工程师的区…
阅读更多...
管理公司和管理工作室

管理公司和管理工作室

有一段时间在写小游戏&#xff0c;最近unity3d 闹出一则荒唐事情&#xff0c;其实说白一点。老贼就要收费这个事情不会妥协。好不容易做了一次坏人。不过说到这一点我们不得不说管理公司这个事情。unity3d在一些新闻公布有7000多员工&#xff0c;这样看起来似乎是不是有点多了&…
阅读更多...
HJ90 合法ip 判断合法字符串

HJ90 合法ip 判断合法字符串

题目链接&#xff1a;https://www.nowcoder.com/practice/995b8a548827494699dc38c3e2a54ee9 IPV4地址可以用一个32位无符号整数来表示&#xff0c;一般用点分方式来显示&#xff0c;点将IP地址分成4个部分&#xff0c;每个部分为8位&#xff0c;表示成一个无符号整数&#xff…
阅读更多...
Aspose转pdf乱码问题

Aspose转pdf乱码问题

一、问题描述 ​ 在centos服务器使用aspose.word转换word文件为pdf的时候显示中文乱码(如图)&#xff0c;但是在win服务器上使用可以正常转换 二、问题原因 由于linux服务器缺少对应的字库导致文件转换出现乱码的 三、解决方式 1.将window中字体(c:\windows\fonts)放到linux…
阅读更多...
最新文章

Copyright @ 2022~2023