Week-T10 数据增强

文章目录

  • 一、准备环境和数据
    • 1.环境
    • 2. 数据
  • 二、数据增强（增加数据集中样本的多样性）
  • 三、将增强后的数据添加到模型中
  • 四、开始训练
  • 五、自定义增强函数
  • 六、一些增强函数

  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍦 参考文章：365天深度学习训练营-第10周：数据增强（训练营内部成员可读）
  • 🍖 原作者：K同学啊 | 接辅导、项目定制
  • 🚀 文章来源：K同学的学习圈子

本文说明了两种数据增强方式，以及如何自定义数据增强方式并将其放到我们代码当中，两种数据增强方式如下：
● 将数据增强模块嵌入model中
● 在Dataset数据集中进行数据增强

常用的tf增强函数在文末有说明

一、准备环境和数据

1.环境

import matplotlib.pyplot as plt
import numpy as np
import sys
from datetime import datetime
#隐藏警告
import warnings
warnings.filterwarnings('ignore')from tensorflow.keras import layers
import tensorflow as tfprint("--------# 使用环境说明---------")
print("Today: ", datetime.today())
print("Python: " + sys.version)
print("Tensorflow: ", tf.__version__)gpus = tf.config.list_physical_devices("GPU")
if gpus:tf.config.experimental.set_memory_growth(gpus[0], True)  #设置GPU显存用量按需使用tf.config.set_visible_devices([gpus[0]],"GPU")# 打印显卡信息，确认GPU可用print(gpus)
else:print("Use CPU")

在这里插入图片描述

2. 数据

使用上一课的数据集，即猫狗识别2的数据集。其次，原数据集中不包括测试集，所以使用tf.data.experimental.cardinality确定验证集中有多少批次的数据，然后将其中的 20% 移至测试集。

# 从本地路径读入图像数据
print("--------# 从本地路径读入图像数据---------")
data_dir   = "D:/jupyter notebook/DL-100-days/datasets/Cats&Dogs Data2/"
img_height = 224
img_width  = 224
batch_size = 32# 划分训练集
print("--------# 划分训练集---------")
train_ds = tf.keras.preprocessing.image_dataset_from_directory(data_dir,validation_split=0.3,subset="training",seed=12,image_size=(img_height, img_width),batch_size=batch_size)# 划分验证集
print("--------# 划分验证集---------")
val_ds = tf.keras.preprocessing.image_dataset_from_directory(data_dir,validation_split=0.3,subset="validation",seed=12,image_size=(img_height, img_width),batch_size=batch_size)# 从验证集中划20%的数据用作测试集
print("--------# 从验证集中划20%的数据用作测试集---------")
val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)print('验证集的批次数: %d' % tf.data.experimental.cardinality(val_ds))
print('测试集的批次数: %d' % tf.data.experimental.cardinality(test_ds))# 显示数据类别
print("--------# 显示数据类别---------")
class_names = train_ds.class_names
print(class_names)print("--------# 归一化处理---------")
AUTOTUNE = tf.data.AUTOTUNEdef preprocess_image(image,label):return (image/255.0,label)# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)# 数据可视化
print("--------# 数据可视化---------")
plt.figure(figsize=(15, 10))  # 图形的宽为15高为10for images, labels in train_ds.take(1):for i in range(8):ax = plt.subplot(5, 8, i + 1) plt.imshow(images[i])plt.title(class_names[labels[i]])plt.axis("off")

在这里插入图片描述

二、数据增强（增加数据集中样本的多样性）

数据增强的常用方法包括（但不限于）：随机平移、随机翻转、随机旋转、随机亮度、随机对比度，可以在Tf中文网的experimental/preprocessing类目下查看，也可以在Tf中文网的layers/类目下查看。

本文使用随机翻转和随机旋转来进行增强：

● tf.keras.layers.experimental.preprocessing.RandomFlip：水平和垂直随机翻转每个图像

● tf.keras.layers.experimental.preprocessing.RandomRotation：随机旋转每个图像

# 第一个层表示进行随机的水平和垂直翻转，而第二个层表示按照 0.2 的弧度值进行随机旋转。
print("--------# 数据增强：随机翻转+随机旋转---------")
data_augmentation = tf.keras.Sequential([tf.keras.layers.experimental.preprocessing.RandomFlip("horizontal_and_vertical"),tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])# Add the image to a batch.
print("--------# 添加图像到batch中---------")
# Q：这个i从哪来的？？？？？？
image = tf.expand_dims(images[i], 0)print("--------# 显示增强后的图像---------")
plt.figure(figsize=(8, 8))
for i in range(9):augmented_image = data_augmentation(image)ax = plt.subplot(3, 3, i + 1)plt.imshow(augmented_image[0])plt.axis("off")

--------# 数据增强：随机翻转+随机旋转---------
--------# 添加图像到batch中---------
--------# 显示增强后的图像---------
WARNING:tensorflow:Using a while_loop for converting RngReadAndSkip cause there is no registered converter for this op.
WARNING:tensorflow:Using a while_loop for converting Bitcast cause there is no registered converter for this op.

在这里插入图片描述

三、将增强后的数据添加到模型中

两种方式：

  • （1）将其嵌入model中：

优点是：

● 数据增强这块的工作可以得到GPU的加速（如果使用了GPU训练的话）

注意：只有在模型训练时（Model.fit）才会进行增强，在模型评估(Model.evaluate)以及预测(Model.predict)时并不会进行增强操作。

'''
model = tf.keras.Sequential([data_augmentation,layers.Conv2D(16, 3, padding='same', activation='relu'),layers.MaxPooling2D(),
])
'''

"\nmodel = tf.keras.Sequential([\n  data_augmentation,\n  layers.Conv2D(16, 3, padding='same', activation='relu'),\n  layers.MaxPooling2D(),\n])\n"
  • （2）在Dataset数据集中进行数据增强
batch_size = 32
AUTOTUNE = tf.data.AUTOTUNEdef prepare(ds):ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), num_parallel_calls=AUTOTUNE)return dsprint("--------# 增强后的图像加到模型中---------")
train_ds = prepare(train_ds)

在这里插入图片描述

四、开始训练

# 设置模型
print("--------# 设置模型---------")
model = tf.keras.Sequential([layers.Conv2D(16, 3, padding='same', activation='relu'),layers.MaxPooling2D(),layers.Conv2D(32, 3, padding='same', activation='relu'),layers.MaxPooling2D(),layers.Conv2D(64, 3, padding='same', activation='relu'),layers.MaxPooling2D(),layers.Flatten(),layers.Dense(128, activation='relu'),layers.Dense(len(class_names))
])# 设置编译参数
# ● 损失函数（loss）：用于衡量模型在训练期间的准确率。
# ● 优化器（optimizer）：决定模型如何根据其看到的数据和自身的损失函数进行更新。
# ● 评价函数（metrics）：用于监控训练和测试步骤。以下示例使用了准确率，即被正确分类的图像的比率。
print("--------# 设置编译器参数---------")
model.compile(optimizer='adam',loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),metrics=['accuracy'])print("--------# 开始训练---------")
epochs=20
history = model.fit(train_ds,validation_data=val_ds,epochs=epochs
)print("--------# 查看训练结果---------")
loss, acc = model.evaluate(test_ds)
print("Accuracy", acc)

在这里插入图片描述

五、自定义增强函数

print("--------# 自定义增强函数---------")
import random
# 这是大家可以自由发挥的一个地方
def aug_img(image):seed = (random.randint(0,9), 0)# 随机改变图像对比度stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)return stateless_random_brightnessimage = tf.expand_dims(images[3]*255, 0)
print("Min and max pixel values:", image.numpy().min(), image.numpy().max())plt.figure(figsize=(8, 8))
for i in range(9):augmented_image = aug_img(image)ax = plt.subplot(3, 3, i + 1)plt.imshow(augmented_image[0].numpy().astype("uint8"))plt.axis("off")# Q: 将自定义增强函数应用到我们数据上呢？
# 请参考上文的 preprocess_image 函数，将 aug_img 函数嵌入到 preprocess_image 函数中，在数据预处理时完成数据增强就OK啦。

在这里插入图片描述
在这里插入图片描述

# 从本地路径读入图像数据
print("--------# 从本地路径读入图像数据---------")
data_dir   = "D:/jupyter notebook/DL-100-days/datasets/Cats&Dogs Data2/"
img_height = 224
img_width  = 224
batch_size = 32# 划分训练集
print("--------# 划分训练集---------")
train_ds = tf.keras.preprocessing.image_dataset_from_directory(data_dir,validation_split=0.3,subset="training",seed=12,image_size=(img_height, img_width),batch_size=batch_size)# 划分验证集
print("--------# 划分验证集---------")
val_ds = tf.keras.preprocessing.image_dataset_from_directory(data_dir,validation_split=0.3,subset="validation",seed=12,image_size=(img_height, img_width),batch_size=batch_size)# 从验证集中划20%的数据用作测试集
print("--------# 从验证集中划20%的数据用作测试集---------")
val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)print('验证集的批次数: %d' % tf.data.experimental.cardinality(val_ds))
print('测试集的批次数: %d' % tf.data.experimental.cardinality(test_ds))# 显示数据类别
print("--------# 显示数据类别---------")
class_names = train_ds.class_names
print(class_names)print("--------# 归一化处理---------")
AUTOTUNE = tf.data.AUTOTUNEprint("--------# 将自定义增强函数应用到数据上---------")
def preprocess_image(aug_img,label):return (aug_img/255.0,label)# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)# 数据可视化
print("--------# 数据可视化---------")
plt.figure(figsize=(15, 10))  # 图形的宽为15高为10for images, labels in train_ds.take(1):for i in range(8):ax = plt.subplot(5, 8, i + 1) plt.imshow(images[i])plt.title(class_names[labels[i]])plt.axis("off")# 设置模型
print("--------# 设置模型---------")
model = tf.keras.Sequential([layers.Conv2D(16, 3, padding='same', activation='relu'),layers.MaxPooling2D(),layers.Conv2D(32, 3, padding='same', activation='relu'),layers.MaxPooling2D(),layers.Conv2D(64, 3, padding='same', activation='relu'),layers.MaxPooling2D(),layers.Flatten(),layers.Dense(128, activation='relu'),layers.Dense(len(class_names))
])# 设置编译参数
# ● 损失函数（loss）：用于衡量模型在训练期间的准确率。
# ● 优化器（optimizer）：决定模型如何根据其看到的数据和自身的损失函数进行更新。
# ● 评价函数（metrics）：用于监控训练和测试步骤。以下示例使用了准确率，即被正确分类的图像的比率。
print("--------# 设置编译器参数---------")
model.compile(optimizer='adam',loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),metrics=['accuracy'])print("--------# 开始训练---------")
epochs=20
history = model.fit(train_ds,validation_data=val_ds,epochs=epochs
)print("--------# 查看训练结果---------")
loss, acc = model.evaluate(test_ds)
print("Accuracy", acc)

使用自定义增强函数增强后的数据重新训练的结果：
在这里插入图片描述

六、一些增强函数

在这里插入图片描述
（1）随机亮度（RandomBrightness）

tf.keras.layers.RandomBrightness( factor, value_range=(0, 255), seed=None, **kwargs )

（2）随机对比度（RandomContrast）

tf.keras.layers.RandomContrast( factor, seed=None, **kwargs )

（3）随机裁剪（RandomCrop）

tf.keras.layers.RandomCrop( height, width, seed=None, **kwargs )

（4）随机翻转（RandomFlip）

tf.keras.layers.RandomFlip( mode=HORIZONTAL_AND_VERTICAL, seed=None, **kwargs )
（5）随机高度（RandomHeight）和随机宽度（RandomWidth）

tf.keras.layers.RandomHeight( factor, interpolation='bilinear', seed=None, **kwargs )

tf.keras.layers.RandomWidth( factor, interpolation='bilinear', seed=None, **kwargs )

（6）随机平移（RandomTranslation）

tf.keras.layers.RandomTranslation( height_factor, width_factor, fill_mode='reflect', interpolation='bilinear', seed=None, fill_value=0.0, **kwargs )

（7）随机旋转（RandonRotation）

tf.keras.layers.RandomRotation( factor, fill_mode='reflect', interpolation='bilinear', seed=None, fill_value=0.0, **kwargs )

（8）随机缩放（RandonZoom）

tf.keras.layers.RandomZoom( height_factor, width_factor=None, fill_mode='reflect', interpolation='bilinear', seed=None, fill_value=0.0, **kwargs )

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/155869.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

查看文件的二进制数据

查看文件的二进制数据

有时候会遇到想查看一些文件的二进制的数据的需求，比如想看一张图片的二进制数据，想查看bin文件的二进制数据，或者想查看其它文件的二进制数据等等。 在linux和mac下有命令直接支持，比较方便，但是很多人用的是windows…
阅读更多...
【Java 进阶篇】JavaScript JSON 语法入门：轻松理解数据的序列化和反序列化

【Java 进阶篇】JavaScript JSON 语法入门：轻松理解数据的序列化和反序列化

嗨，亲爱的小白们！欢迎来到这篇关于 JavaScript 中 JSON（JavaScript Object Notation）语法的入门指南。JSON 是一种轻量级的数据交换格式，广泛应用于前端开发中。通过这篇博客，我将带你深入了解 JSON 的语法…
阅读更多...
[userfaultfd] 2019-BalsnCTF_KrazyNote

[userfaultfd] 2019-BalsnCTF_KrazyNote

前言 题目不算难, 但是这代码逆向可逆死个人:) 悲悲悲 程序分析 内核版本: v5.1.9 保护: 开了 kaslr, smep, smap. 现在的题目基本都开了, 都不用看. 其中 note 模块中注册了一个 misc 设备, 其函数表中就只有 note_open 和 note_unlocked_ioctl 两个函数, 其中 note_open…
阅读更多...
C#入门（13）：特性Attribute

C#入门（13）：特性Attribute

C# 特性（Attributes）是用于在运行时为程序元素（如类、方法、属性等）添加声明性信息的一种方式。这些信息可以在程序运行时通过反射（Reflection）访问。特性可以用来控制程序行为、添加元数据或者影响程序的运…
阅读更多...
SpringBoot趣探究--1.logo是如何打印出来的

SpringBoot趣探究--1.logo是如何打印出来的

一.前言 从本篇开始，我将对springboot框架做一个有趣的探究，探究一下它的流程，虽然源码看不懂，不过我们可以一点一点慢慢深挖，好了，下面我们来看一下本篇的知识，这个logo是如何打印出来的&#…
阅读更多...
数字化转型导师坚鹏：数字化时代银行网点厅堂营销5大特点分析

数字化转型导师坚鹏：数字化时代银行网点厅堂营销5大特点分析

数字化时代银行网点厅堂营销存在以下5大特点： 1、产品多样化：在数字化时代，银行的产品和服务变得更加多样化。除了传统的存款、贷款、理财等金融服务外，还新增了各种创新产品，如网上银行、移动支付、投资咨询、保险、…
阅读更多...
【开源】基于微信小程序的音乐平台

【开源】基于微信小程序的音乐平台

项目编号： S 055 ，文末获取源码。 \color{red}{项目编号：S055，文末获取源码。} 项目编号：S055，文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块三、系统展示 四、核心代码4.1 查询单首…
阅读更多...
开源的进销存系统都有哪些？

开源的进销存系统都有哪些？

开源的进销存系统有很多，以下是其中一些比较流行的: OpenERP：一个集成了多个业务功能的开源ERP软件，可以实现进销存管理，会计，仓库管理，销售管理等业务功能。 Odoo：是OpenERP的一个分支&#x…
阅读更多...
C语言进阶之冒泡排序

C语言进阶之冒泡排序

✨ 猪巴戒：个人主页✨ 所属专栏：《C语言进阶》 🎈跟着猪巴戒，一起学习C语言🎈 目录 前情回顾 1、回调函数 2、冒泡排序 3、库函数qsort cmp（sqort中的比较函数，需要我们自定义） …
阅读更多...
STM32F4串口USART发送为00的解决方案

STM32F4串口USART发送为00的解决方案

检查接线是否正确检查TX是否为复用推挽输出 3.检查是否将TX和RX引脚重映射为USART功能 在STM32中，每个GPIO引脚可以配置为不同的复用功能，例如UART、SPI、I2C等。具体来说，GPIO_PinAFConfig函数用于配置GPIO引脚的复用功能。它的参数包括GPIO…
阅读更多...
2023年【四川省安全员A证】复审考试及四川省安全员A证考试试题

2023年【四川省安全员A证】复审考试及四川省安全员A证考试试题

题库来源：安全生产模拟考试一点通公众号小程序 四川省安全员A证复审考试根据新四川省安全员A证考试大纲要求，安全生产模拟考试一点通将四川省安全员A证模拟考试试题进行汇编，组成一套四川省安全员A证全真模拟考试试题，学员可通过…
阅读更多...
c++|引用

c++|引用

目录 一、引用概念 二、引用特性 三、常引用 （具有常属性的引用变量） 四、使用场景 一、引用概念 引用不是新定义一个变量，而是给已存在变量取了一个别名，编译器不会为引用变量开辟内存空间，他和他引用的变量共用同…
阅读更多...
Spring Cloud 简介

Spring Cloud 简介

1、简介 Spring CloudLevel up your Java code and explore what Spring can do for you.https://spring.io/projects/spring-cloud Spring Cloud 是一系列有序框架的集合，其主要的设施有，服务发现与注册，配置中心，消息总…
阅读更多...
计算机组成原理-主存储器与CPU的连接

计算机组成原理-主存储器与CPU的连接

文章目录 知识总览单块存储芯片与CPU的连接位扩展（存储字的位数）字扩展（存储字数）关于线选法和片选法字位同时扩展总结补充：译码器 知识总览 单块存储芯片与CPU的连接 数据总线，地址总线，片选线…
阅读更多...
Postman插件如何安装（一）

Postman插件如何安装（一）

我们chrome插件网热门推荐的软件之一就是postman。但是postman的适应平台分为：postman chrome应用程序，postman应用程序，postman插件。谷歌应用商店从2018年3月开始停止chrome应用程序的更新。除非继续使用老版本的postman chrome应用程序&am…
阅读更多...
【代码随想录】刷题笔记Day33

【代码随想录】刷题笔记Day33

前言 Day33虽说是一个月，但是从第一篇开始实际上已经过了8个月了，得抓紧啊 46. 全排列 - 力扣（LeetCode） 前面组合就强调过差别了，这道题是排序，因此每次要从头到尾扫，结合used数组 class So…
阅读更多...
数字IC基础：有符号数和无符号数的加减运算

数字IC基础：有符号数和无符号数的加减运算

相关阅读 数字IC基础https://blog.csdn.net/weixin_45791458/category_12365795.html?spm1001.2014.3001.5482 首先说明，本篇文章并不涉及补码运算正确性的证明，仅是对补码运算在有符号数和无符号数中运行进行讨论。 补码运算最大的作用在于消除计算机…
阅读更多...
机器学习8：在病马数据集上进行算法比较（ROC曲线与AUC）

机器学习8：在病马数据集上进行算法比较（ROC曲线与AUC）

ROC曲线与AUC。使用不同的迭代次数（基模型数量）进行 Adaboost 模型训练，并记录每个模型的真阳性率和假阳性率，并绘制每个模型对应的 ROC 曲线，比较模型性能，输出 AUC 值最高的模型的迭代次数和 ROC 曲线。 …
阅读更多...
5 个适用于 Linux 的开源日志监控和管理工具

5 个适用于 Linux 的开源日志监控和管理工具

当Linux等操作系统运行时，会发生许多事件和在后台运行的进程，以实现系统资源的高效可靠的使用。这些事件可能发生在系统软件中，例如 init 或 systemd 进程或用户应用程序，例如 Apache、MySQL、FTP 等。 为了了解系统和不同应用程序…
阅读更多...
UE5和UE4版本更新重大改变汇总。

UE5和UE4版本更新重大改变汇总。

转载：UE5和UE4版本更新重大改变汇总。 - 知乎 (zhihu.com) 用户界面变化： 1，原先拖动给放置Actor的place actors，世界大纲，Level等都可以通过右击隐藏到侧边栏； 2，Command命令窗口和ContentBr…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023