深度学习笔记20_数据增强

  •  🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者：K同学啊 | 接辅导、项目定制

一、我的环境

1.语言环境：Python 3.9

2.编译器：Pycharm

3.深度学习环境：TensorFlow 2.10.0

二、GPU设置

       若使用的是cpu则可忽略

import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")if gpus:gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPUtf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用tf.config.set_visible_devices([gpu0],"GPU")

三、加载数据

data_dir   = "./data/"
img_height = 224
img_width  = 224
batch_size = 32train_ds = tf.keras.preprocessing.image_dataset_from_directory(data_dir,validation_split=0.3,subset="training",seed=12,image_size=(img_height, img_width),batch_size=batch_size)val_ds = tf.keras.preprocessing.image_dataset_from_directory(data_dir,validation_split=0.3,subset="validation",seed=12,image_size=(img_height, img_width),batch_size=batch_size)

       由于原始数据集不包含测试集，因此需要创建一个。使用 tf.data.experimental.cardinality 确定验证集中有多少批次的数据，然后将其中的 20% 移至测试集。
 

val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)print('Number of validation batches: %d' % tf.data.experimental.cardinality(val_ds))
print('Number of test batches: %d' % tf.data.experimental.cardinality(test_ds))
class_names = train_ds.class_names
print(class_names)
#['cat', 'dog']
AUTOTUNE = tf.data.AUTOTUNEdef preprocess_image(image,label):return (image/255.0,label)# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)
plt.figure(figsize=(15, 10))  # 图形的宽为15高为10for images, labels in train_ds.take(1):for i in range(8):ax = plt.subplot(5, 8, i + 1) plt.imshow(images[i])plt.title(class_names[labels[i]])plt.axis("off")

 

四、数据增强

我们可以使用 tf.keras.layers.experimental.preprocessing.RandomFlip 与tf.keras.layers.experimental. preprocessing.RandomRotation 进行数据增强。

  • tf.keras.layers.experimental.preprocessing.RandomFlip：水平和垂直随机翻转每个图像。
  • tf.keras.layers.experimental.preprocessing.RandomRotation：随机旋转每个图像
data_augmentation = tf.keras.Sequential([tf.keras.layers.experimental.preprocessing.RandomFlip("horizontal_and_vertical"),tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])

第一个层表示进行随机的水平和垂直翻转，而第二个层表示按照 0.2 的弧度值进行随机旋转。 

plt.figure(figsize=(8, 8))
for i in range(9):augmented_image = data_augmentation(image)ax = plt.subplot(3, 3, i + 1)plt.imshow(augmented_image[0])plt.axis("off")

运行结果： 

五、增强方式

方法一：将其嵌入model中 

model = tf.keras.Sequential([data_augmentation,layers.Conv2D(16, 3, padding='same', activation='relu'),layers.MaxPooling2D(),
])
#这样做的好处是：
# 数据增强这块的工作可以得到GPU的加速（如果你使用了GPU训练的话）
# 注意：只有在模型训练时（Model.fit）才会进行增强，在模型评估(Model.evaluate)以及预测 
# (Model.predict)时并不会进行增强操作。

方法二：在Dataset数据集中进行数据增强

batch_size = 32
AUTOTUNE = tf.data.AUTOTUNEdef prepare(ds):ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), num_parallel_calls=AUTOTUNE)return ds

 运行结果：

train_ds = prepare(train_ds)

六、训练模型

model = tf.keras.Sequential([layers.Conv2D(16, 3, padding='same', activation='relu'),layers.MaxPooling2D(),layers.Conv2D(32, 3, padding='same', activation='relu'),layers.MaxPooling2D(),layers.Conv2D(64, 3, padding='same', activation='relu'),layers.MaxPooling2D(),layers.Flatten(),layers.Dense(128, activation='relu'),layers.Dense(len(class_names))
])
model.compile(optimizer='adam',loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),metrics=['accuracy'])
epochs=20
history = model.fit(train_ds,validation_data=val_ds,epochs=epochs
)

 运行结果：

Epoch 1/20
14/14 [==============================] - 9s 60ms/step - loss: 0.8157 - accuracy: 0.5452 - val_loss: 0.6570 - val_accuracy: 0.5811
Epoch 2/20
14/14 [==============================] - 0s 32ms/step - loss: 0.5555 - accuracy: 0.7310 - val_loss: 0.4195 - val_accuracy: 0.8311
Epoch 3/20
14/14 [==============================] - 0s 30ms/step - loss: 0.2668 - accuracy: 0.8881 - val_loss: 0.4676 - val_accuracy: 0.8041
Epoch 4/20
14/14 [==============================] - 0s 31ms/step - loss: 0.1672 - accuracy: 0.9310 - val_loss: 0.3413 - val_accuracy: 0.8649
Epoch 5/20
14/14 [==============================] - 0s 30ms/step - loss: 0.1526 - accuracy: 0.9452 - val_loss: 0.2555 - val_accuracy: 0.9054
Epoch 6/20
14/14 [==============================] - 0s 29ms/step - loss: 0.0710 - accuracy: 0.9881 - val_loss: 0.2825 - val_accuracy: 0.9122
Epoch 7/20
14/14 [==============================] - 0s 29ms/step - loss: 0.0278 - accuracy: 0.9976 - val_loss: 0.2849 - val_accuracy: 0.9054
Epoch 8/20
14/14 [==============================] - 0s 28ms/step - loss: 0.0140 - accuracy: 0.9976 - val_loss: 0.2841 - val_accuracy: 0.9122
Epoch 9/20
14/14 [==============================] - 0s 29ms/step - loss: 0.0103 - accuracy: 1.0000 - val_loss: 0.3034 - val_accuracy: 0.9122
Epoch 10/20
14/14 [==============================] - 0s 29ms/step - loss: 0.0060 - accuracy: 1.0000 - val_loss: 0.7403 - val_accuracy: 0.8446
Epoch 11/20
14/14 [==============================] - 0s 29ms/step - loss: 0.0620 - accuracy: 0.9738 - val_loss: 0.2892 - val_accuracy: 0.9054
Epoch 12/20
14/14 [==============================] - 0s 29ms/step - loss: 0.0377 - accuracy: 0.9881 - val_loss: 0.3887 - val_accuracy: 0.8919
Epoch 13/20
14/14 [==============================] - 0s 29ms/step - loss: 0.0312 - accuracy: 0.9881 - val_loss: 0.5183 - val_accuracy: 0.8784
Epoch 14/20
14/14 [==============================] - 0s 28ms/step - loss: 0.0264 - accuracy: 0.9929 - val_loss: 0.7976 - val_accuracy: 0.8784
Epoch 15/20
14/14 [==============================] - 0s 28ms/step - loss: 0.0697 - accuracy: 0.9690 - val_loss: 0.3325 - val_accuracy: 0.8851
Epoch 16/20
14/14 [==============================] - 0s 28ms/step - loss: 0.0270 - accuracy: 0.9952 - val_loss: 0.4877 - val_accuracy: 0.9122
Epoch 17/20
14/14 [==============================] - 0s 29ms/step - loss: 0.0129 - accuracy: 0.9952 - val_loss: 1.3700 - val_accuracy: 0.8378
Epoch 18/20
14/14 [==============================] - 0s 28ms/step - loss: 0.0229 - accuracy: 0.9905 - val_loss: 0.4864 - val_accuracy: 0.9122
Epoch 19/20
14/14 [==============================] - 0s 28ms/step - loss: 0.0231 - accuracy: 0.9952 - val_loss: 0.3220 - val_accuracy: 0.9257
Epoch 20/20
14/14 [==============================] - 0s 28ms/step - loss: 0.0331 - accuracy: 0.9881 - val_loss: 0.4932 - val_accuracy: 0.8919

七、自定义增强函数

import random
# 这是大家可以自由发挥的一个地方
def aug_img(image):seed = (random.randint(0,9), 0)# 随机改变图像对比度stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)return stateless_random_brightness
image = tf.expand_dims(images[3]*255, 0)
print("Min and max pixel values:", image.numpy().min(), image.numpy().max())
plt.figure(figsize=(8, 8))
for i in range(9):augmented_image = aug_img(image)ax = plt.subplot(3, 3, i + 1)plt.imshow(augmented_image[0].numpy().astype("uint8"))plt.axis("off")

八、总结

数据增强类型：

1.图像增强

  • 随机旋转
  • 随机翻转
  • 随机缩放
  • 裁剪和调整大小

2.文本数据增强

字符级别：在字符级别，数据增强涉及更改文本数据中的单个字符。

短语级别：在短语级别扩充数据涉及以连贯的方式修改短语或单词组。

3.音频数据增强

噪声注入：我们可以通过简单地使用 numpy 向数据添加一些随机值来增加音频样本的数量。

转移时间：转移时间的想法非常简单。它只是随机将音频向左/向右移动。

改变音高：我们可以使用 librosa 函数改变音高。

改变速度：我们可以使用 librosa 函数以固定速率拉伸音频时间序列。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/56693.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LLM实践--支线：拯救Continue Pretrain的数据

LLM实践--支线：拯救Continue Pretrain的数据

背景 首先介绍下什么是Continue Pretrain（CP）。CP 和 Pretrain、SFT一样指的是 LLM 训练的一个阶段，在前大模型时代还被称作Post Pretrain。CP 是在Pretrain和SFT之间的训练阶段，目的是为模型注入领域知识，这个领域是…
阅读更多...
mqtt客户端订阅一直重复连接？

mqtt客户端订阅一直重复连接？

文章 前言错误场景问题分析解决方案后言 前言 ✨✨ 他们是天生勇敢的开发者，我们创造bug，传播bug，毫不留情地消灭bug，在这个过程中我们创造了很多bug以供娱乐。 前端bug这里是博主总结的一些前端的bug以及解决方案，感兴…
阅读更多...
解决使用MobaXterm不能向Ubuntu上传下载文件的问题

解决使用MobaXterm不能向Ubuntu上传下载文件的问题

如上图所示 解决方案 新建连接，使用root账户建立ssh会话，就是建立会话的时候，用户名使用root。ubuntu系统默认不允许远程root账户建立连接，表现就是你新建ssh会话，在第一步输入root密码的时候，密码正确会报…
阅读更多...
一文探索RareShop：首个面向消费者的RWA NFT商品发售平台

一文探索RareShop：首个面向消费者的RWA NFT商品发售平台

作者：Weilin，PANews 本轮牛市中，加密消费级应用正成为一种热门趋势，比如pump.fun和Polymarket等产品已成为C端用户的明星。加密货币正日益渗透到日常消费者的产品、服务和行为中。这意味着加密货币的使用不再局限于投机交易或去中…
阅读更多...
appium启动hbuild打包的apk异常解决

appium启动hbuild打包的apk异常解决

目录 一、错误信息 二、问题解决 2.1 通过以下命令获取安装包名称： 2.2 这个launcher状态下的安装包名称和active，替换原先的安装包名称 一、错误信息 通过adb shell dumpsys activity | findstr "mResume" 命令获取的安装包信息&#xff…
阅读更多...
从零开始学习OMNeT++系列第三弹——新建一个使用INET框架的工程

从零开始学习OMNeT++系列第三弹——新建一个使用INET框架的工程

上一篇学习了如何新建一个omnet的工程，这篇来学习下INET框架以及如何使用INET框架来新建一个工程。 INET框架是什么 INET框架是一个开源模型库，用于OMNeT仿真环境。它为研究者和学生在使用通信网络时提供协议、代理和其他模型。当设计和验证新协议或探…
阅读更多...
深入理解计算机系统--计算机系统漫游

深入理解计算机系统--计算机系统漫游

对于一段最基础代码的文件hello.c&#xff0c;解释程序的运行 #include <stdio.h>int main() {printf ( "Hello, world\n") ;return 0; }1.1、信息就是位上下文 源程序是由值 0 和 1 组成的位&#xff08;比特&#xff09;序列&#xff0c;8 个位被组织成一组…
阅读更多...
安防监控摄像头图传模组，1公里WiFi无线传输方案，监控新科技

安防监控摄像头图传模组，1公里WiFi无线传输方案，监控新科技

在数字化浪潮汹涌的今天&#xff0c;安防监控领域也迎来了技术革新的春风。今天&#xff0c;我们就来聊聊这一领域的产品——摄像头图传模组&#xff0c;以及它如何借助飞睿智能1公里WiFi无线传输技术&#xff0c;为安防监控带来未有的便利与高效。 一、安防监控的新篇章 随着…
阅读更多...
mysql--基本查询

mysql--基本查询

目录 搞定mysql--CURD操作&#xff0c;细节比较多&#xff0c;不难&#xff0c;贵在多多练 1、Create--创建 &#xff08;1&#xff09;单行插入 / 全列插入 &#xff08;2&#xff09;插入否则替换 &#xff08;3&#xff09;替换 2、Retuieve--select 1&#xff09;全…
阅读更多...
FreeRTOS - 软件定时器

FreeRTOS - 软件定时器

在学习FreeRTOS过程中&#xff0c;结合韦东山-FreeRTOS手册和视频、野火-FreeRTOS内核实现与应用开发、及网上查找的其他资源&#xff0c;整理了该篇文章。如有内容理解不正确之处&#xff0c;欢迎大家指出&#xff0c;共同进步。 1. 软件定时器 软件定时器也可以完成两类事情…
阅读更多...
JDK-23与JavaFX的安装

JDK-23与JavaFX的安装

一、JDK-23的安装 1.下载 JDK-23 官网直接下载&#xff0c;页面下如图&#xff1a; 2.安装 JDK-23 2.1、解压下载的文件 找到下载的 ZIP 文件&#xff0c;右键点击并选择“解压到指定文件夹”&#xff0c;将其解压缩到您希望的目录&#xff0c;例如 C:\Program Files\Java\…
阅读更多...
多进程思维导图

多进程思维导图

1> 思维导图 2> 使用父子进程完成两个文件的拷贝&#xff0c;父进程拷贝前一半&#xff0c;子进程拷贝后一半&#xff0c;两个进程同时进行&#xff08;君子作业&#xff09; #include <myhead.h> typedef struct sockaddr_in addr_in_t; typedef struct sockaddr…
阅读更多...
毕业设计选题：基于django+vue的个人博客系统设计与开发

毕业设计选题：基于django+vue的个人博客系统设计与开发

开发语言&#xff1a;Python框架&#xff1a;djangoPython版本&#xff1a;python3.7.7数据库&#xff1a;mysql 5.7数据库工具&#xff1a;Navicat11开发软件&#xff1a;PyCharm 系统展示 管理员登录 管理员功能界面 博主管理 博客文章管理 博文排行管理 博文打赏管理 博文…
阅读更多...
Spring 的依赖注入的最常见方式

Spring 的依赖注入的最常见方式

在 Spring 中&#xff0c;依赖注入的方式有多种选择。下面我们来逐一分析它们的特点、适用场景和注意事项&#xff1a; 1. 构造函数注入 构造函数注入要求在对象创建时提供所有依赖。这种方式确保依赖在对象创建后不可变&#xff0c;特别适合必须强制存在的依赖。所有依赖在对…
阅读更多...
JavaWeb 22.Node.js_简介和安装

JavaWeb 22.Node.js_简介和安装

有时候&#xff0c;后退原来是向前 —— 24.10.7 一、什么是Node.js Node.js 是一个于 Chrome V8 的 JavaScript 运行时环境&#xff0c;可以使 JavaScript 运行在服务器端。使用 Node.js&#xff0c;可以方便地开发服务器端应用程序&#xff0c;如 Web 应用、API、后端服务&a…
阅读更多...
Python 工具库每日推荐 【FastAPI】

Python 工具库每日推荐 【FastAPI】

文章目录 引言Web 框架的重要性今日推荐：FastAPI Web 框架主要功能：使用场景：安装与配置快速上手示例代码代码解释实际应用案例案例：构建一个简单的博客 API案例分析高级特性依赖注入系统后台任务扩展阅读与资源优缺点分析优点：缺点：总结【 已更新完 TypeScript 设计模式…
阅读更多...
Transformer图解以及相关的概念

Transformer图解以及相关的概念

前言 transformer是目前NLP甚至是整个深度学习领域不能不提到的框架&#xff0c;同时大部分LLM也是使用其进行训练生成模型&#xff0c;所以transformer几乎是目前每一个机器人开发者或者人工智能开发者不能越过的一个框架。接下来本文将从顶层往下去一步步掀开transformer的面…
阅读更多...
asp.net Core 自定义中间件

asp.net Core 自定义中间件

内联中间件 中间件转移到类中 推荐中间件通过IApplicationBuilder 公开中间件 使用扩展方法 调用中间件 含有依赖项的 》》》中间件 参考资料
阅读更多...
中企通信赋能中信戴卡入选工信部颁发的2023年工业互联网试点示范名单

中企通信赋能中信戴卡入选工信部颁发的2023年工业互联网试点示范名单

2024年10月17日&#xff0c;北京-随着工业互联网的迅猛发展&#xff0c;网络安全已成为国家关注的重点议题之一。日前&#xff0c;工业和信息化部&#xff08;工信部&#xff09;公布了2023年工业互联网试点示范名单&#xff0c;中企网络通信技术有限公司&#xff08;简称“中企…
阅读更多...
读数据工程之道：设计和构建健壮的数据系统12开源软件

读数据工程之道：设计和构建健壮的数据系统12开源软件

1. 开源软件 1.1. 开源软件(Open Source Software&#xff0c;OSS)是一种软件发行模式&#xff0c;在这种模式下&#xff0c;软件和底层代码库通常在特定的许可条款下可供普遍开发者使用 1.2. 社区管理的开源软件 1.2.1. 大部分开源软件项目…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023