diffusers 使用脚本导入自定义数据集

在训练扩散模型时,如果附加额外的条件图片数据,则需要我们准备相应的数据集。此时我们可以使用官网提供的脚本模板来控制导入我们需要的数据。

您可以参考官方的教程来实现具体的功能需求,为了更加简洁,我将简单描述一下整个流程的关键点:

  1. 首先按照您的需求准备好所有的数据集文件,统一放到一个dataset_name(可以自己定义)目录下,可以划分多个子文件夹,但是需要在您的matadata.json中描述好相对路径位置;这一步和平时准备数据集的过程一样,只是多了额外的条件图片数据。
  2. 在dataset_name下创建同名的dataset_name.py脚本文件,该脚本文件的类名要和脚本名一致,并复制下文的模板内容,然后修改特定位置:
import pandas as pd
from huggingface_hub import hf_hub_url
import datasets
import os_VERSION = datasets.Version("0.0.2")_DESCRIPTION = "TODO"
_HOMEPAGE = "TODO"
_LICENSE = "TODO"
_CITATION = "TODO"_FEATURES = datasets.Features({"image": datasets.Image(),"conditioning_image": datasets.Image(),"text": datasets.Value("string"),},
)METADATA_URL = hf_hub_url("fusing/fill50k",filename="train.jsonl",repo_type="dataset",
)IMAGES_URL = hf_hub_url("fusing/fill50k",filename="images.zip",repo_type="dataset",
)CONDITIONING_IMAGES_URL = hf_hub_url("fusing/fill50k",filename="conditioning_images.zip",repo_type="dataset",
)_DEFAULT_CONFIG = datasets.BuilderConfig(name="default", version=_VERSION)class Fill50k(datasets.GeneratorBasedBuilder):BUILDER_CONFIGS = [_DEFAULT_CONFIG]DEFAULT_CONFIG_NAME = "default"def _info(self):return datasets.DatasetInfo(description=_DESCRIPTION,features=_FEATURES,supervised_keys=None,homepage=_HOMEPAGE,license=_LICENSE,citation=_CITATION,)def _split_generators(self, dl_manager):metadata_path = dl_manager.download(METADATA_URL)images_dir = dl_manager.download_and_extract(IMAGES_URL)conditioning_images_dir = dl_manager.download_and_extract(CONDITIONING_IMAGES_URL)return [datasets.SplitGenerator(name=datasets.Split.TRAIN,# These kwargs will be passed to _generate_examplesgen_kwargs={"metadata_path": metadata_path,"images_dir": images_dir,"conditioning_images_dir": conditioning_images_dir,},),]def _generate_examples(self, metadata_path, images_dir, conditioning_images_dir):metadata = pd.read_json(metadata_path, lines=True)for _, row in metadata.iterrows():text = row["text"]image_path = row["image"]image_path = os.path.join(images_dir, image_path)image = open(image_path, "rb").read()conditioning_image_path = row["conditioning_image"]conditioning_image_path = os.path.join(conditioning_images_dir, row["conditioning_image"])conditioning_image = open(conditioning_image_path, "rb").read()yield row["image"], {"text": text,"image": {"path": image_path,"bytes": image,},"conditioning_image": {"path": conditioning_image_path,"bytes": conditioning_image,},}
  1. 修改时主要关注两个函数,和一些命名:
  • 第一个是_split_generators(),把所有download相关的内容注释掉,这里会让你去下载官方的数据集,我们的需求是准备自己的数据集,所以为了方便直接把这个函数中的关键文件路径改为自己的绝对路径,比如metadata_path,就是你的metadata.json的路径,images_dir和conditioning_images_dir是你的图片的上级目录的绝对路径。这里我曾经测试过使用相对路径,发现是行不通的,主要的问题是diffuers在项目运行时会把当前的脚本先拷贝到c盘,然后再加载入内存,所以相对路径会不起作用。
  • 第二个是_generate_examples(),我们需要按照上个函数给出的路径依次加载图片文件和文本,这里主要是把所有的数据集内容修改为你需要的信息。这里有个关键点是,你必须保证metadata.json中第一列image的内容是不重复的,因为该列会作为索引的key值出现,否则会报错。
  • 最后是把脚本中所有与数据集信息相关的名称校对为你需要的。

在训练过程中,指定好数据集dataset_name的位置,diffusers会自动调用dataset_name.py来读取数据集中的数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/24466.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CentOS 7基础操作13_Linux下添加、修改、删除用户账号

1、添加、修改、删除用户账号 1)useradd命令——添加用户账号。 useradd [选项] 用户名 最简单的用法是,不添加任何选项.只使用用户名作为useradd命令的参数,按系统默认配置建立指定的用户账号。在CentOS系统中&#xff0…

融云:应用出海新增长引擎,GPT-4o 后的 AI 创新与用户运营

近日,融云与 TikTok、维卓联合在京举办了“十年出海,遇上 AI”私享会。 会上,融云解决方案架构师于洪达带来了《应用出海新增长引擎,AI 创新与用户精细化运营》主题分享,探讨在 AI 技术大潮下应用出海通过创新运营方式…

从0开发一个Chrome插件:背景脚本实战——开发一个显示当前时间的小功能

前言 这是《从0开发一个Chrome插件》系列的第八篇文章,本系列教你如何从0去开发一个Chrome插件,每篇文章都会好好打磨,写清楚我在开发过程遇到的问题,还有开发经验和技巧。 专栏: 从0开发一个Chrome插件:什么是Chrome插件?从0开发一个Chrome插件:开发Chrome插件的必要…

等级保护2.0新变化

等级保护2.0:新时代网络安全的新篇章 引言 随着信息技术的飞速发展,网络安全已成为国家安全的重要组成部分。等级保护2.0作为我国网络安全等级保护制度的最新标准,标志着我国网络安全等级保护工作迈入了新时代。本文将探讨等级保护2.0的新变…

金融科技:跨境支付的新引擎,开启全球化支付新时代

一、引言 在全球经济一体化的今天,跨境支付作为连接各国经贸往来的重要桥梁,其便捷性、安全性和效率性成为了各国企业和消费者关注的焦点。金融科技,作为现代金融与传统科技深度融合的产物,正以其独特的创新力和推动力,成为跨境支付领域的新引擎,引领着全球化支付新时代…

java应用性能优化思路(一)

1.动静分离,将静态资源交给nginx管理,动态请求交给我们开发的应用程序处理; 2.为数据库表常用查询字段添加索引; 3.如果查询的sql语句还打印在控制台,需将日志级别提高到info或error; logging:level:com.atguigu.gu…

Visual Studio的快捷按键

Visual Studio的快捷按键对于提高编程效率至关重要。以下是一些常用的Visual Studio快捷按键,并按照功能进行分类和归纳: 1. 文件操作 Ctrl O:打开文件Ctrl S:保存文件Ctrl Shift S:全部保存Ctrl N:…

群体优化算法---灰狼优化算法学习介绍以及在卷积神经网络训练上的应用

**长文预警**介绍 在自然界中,狼群的社会结构和捕猎策略展现了高度的智能和协调性,灰狼优化算法(Grey Wolf Optimizer, GWO)正是受此启发提出的一种群体智能优化算法。GWO主要模拟了灰狼的社会等级制度和捕猎行为,其核…

深度学习 - 激活函数

深度学习 - 激活函数 激活函数(Activation Function)是神经网络中的关键组件,用于引入非线性,使得网络能够学习和表示复杂的模式和关系。以下是几种常见的激活函数及其详细解释: 1. Sigmoid(S型激活函数&…

Playwright框架入门

自从2023年底playwright框架火起来之后,很多小伙伴咨询我们这个框架,甚至问我们什么时候出这个课程. 这步这个课程在我们千呼万唤中出来了.具体的课程大纲和试听可以联系下方二维码获取. 今天给大家分享一下playwright的安装和一些常用API,为后续的学习做好准备工作. Playwrig…

Unit9

Unit9 gene 基因,生产,类型 genetic genius ingenious generate generation degenerate genuine generous generosity gender genre homogeneous time 时间 time timely timer first-timer temporary temporarily tempo contemporary dra 戏剧…

欧智通恒玄BES2600W基于Openharmony v3.0的分布式软总线测试过程记录

恒玄BES2600W SoC 的欧智通的单板基于Openharmony v3.0的底座,其测试的样例代码是基于恒玄公司开发的轻量带屏显示产品样例代码,主要包括图形、软总线等特性产品的开发。 基础介绍: ​ L0的系统基于Liteos-m的m内核,网络使用lwi…

计算机网络--传输层

计算机网络--计算机网络概念 计算机网络--物理层 计算机网络--数据链路层 计算机网络--网络层 计算机网络--传输层 计算机网络--应用层 1. 概述 1.1 传输层的意义 网络层可以把数据从一个主机传送到另一个主机,但是没有和进程建立联系。 传输层就是讲进程和…

【中间件系列】浅析redis是否适合做消息队列

文章目录 一、简单的list消息队列1.命令示例2.伪代码示例3.方案优劣 二、Pub/Sub发布订阅1.消息丢失2.消息堆积 三、相对成熟的Stream1.redis命令介绍2.多消费者组测试3.Stream会持久化吗?4.消息堆积如何解决? 总结 用redis也是比较久了,并且…

Unity3d简单对话系统的实现——使用Dialogue editor完成对话系统

目录 前言 使用方法 1.下载dialogue editor 2.新建空物体 3.对对话内容进行编辑 4.对话画布建立 5.触发对话框代码 结束语 前言 今天是坚持写博客的第21天,很高兴自己可以坚持,也希望能与大家一起进步。我们今天来看unity3d当中的一个可以轻松实…

Feign是如何发送http请求的

1、接口定义 首先,开发者使用Feign提供的注解(如FeignClient)定义接口,并在接口中定义HTTP请求的方法,这些方法将映射到远程服务的具体HTTP请求。 2、动态代理 当应用启动时,Feign会通过动态代理和反射机…

Go select 语句使用场景

1. select介绍 select 是 Go 语言中的一种控制结构,用于在多个通信操作中选择一个可执行的操作。它可以协调多个 channel 的读写操作,使得我们能够在多个 channel 中进行非阻塞的数据传输、同步和控制。 基本语法: select {case communica…

Python中的函数式编程特性深入探讨

Python中的函数式编程特性深入探讨 Python,作为一种多范式编程语言,不仅支持面向对象编程(OOP),同样也对函数式编程(FP)提供了良好的支持。函数式编程是一种编程范式,它将计算机程序看作是一系列函数的求值,并避免使用可变状态和共享状态。本文将深入探讨Python中的函…

数据赋能(112)——体系:监控数据采集——影响因素、直接作用、主要特征

影响因素 影响监控数据采集的主要影响因素如下: 采样率:采样率是指采集数据的频率。采样率决定了监控的实时性与精确度,一般来说,采样率越高,监控的实时性就越高,精确度也越高。但是,过高的采…

2024 cicsn SuperHeap

文章目录 参考沙箱存在protobuf逆向buy_booksee_bookreturn_bookedit_booksearch_book 思路exp 参考 https://hakuya.work/post/7 https://akaieurus.github.io/2024/05/20/2024%E5%9B%BD%E8%B5%9B%E5%88%9D%E8%B5%9Bpwn-wp/#SuperHeap https://blog.csdn.net/m0_63437215/art…