使用TensorFlow训练深度学习模型实战(上)

大家好,尽管大多数关于神经网络的文章都强调数学,而TensorFlow文档则强调使用现成数据集进行快速实现,但将这些资源应用于真实世界数据集是很有挑战性的,很难将数学概念和现成数据集与我的具体用例联系起来。本文旨在提供一个实用的、逐步的教程,介绍如何使用TensorFlow训练深度学习模型,并重点介绍如何将数据集重塑为TensorFlow对象,以便TensorFlow框架能够识别。

本文主要内容包括:

  • 将DataFrame转换为TensorFlow对象

  • 从头开始训练深度学习模型

  • 使用预训练的模型训练深度学习模型

  • 评估、预测和绘制训练后的模型。

安装TensorFlow和其他必需的库 

首先,你需要安装TensorFlow。你可以通过在终端或Anaconda中运行以下命令来完成:

# 安装所需的软件包
!pip install tensorflow
!pip install tensorflow-datasets

安装TensorFlow之后,导入其他必需的库,如Numpy、Matplotlib和Sklearn。

import os
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_splitfrom tensorflow.keras.applications.mobilenet_v2 import preprocess_input
from tensorflow.keras.models import Sequential, Model
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.layers import Dense, GlobalAveragePooling2D, Dropout

加载数据集

一旦导入了所有必需的库,下一步是获取数据集来搭建模型。TensorFlow允许使用各种输入格式,包括CSV、TXT和图像文件,有些数据集可以从TensorFlow-dataset中导入,这些数据集已准备好用作深度学习模型的输入。然而在许多情况下,数据集是以DataFrame格式而不是TensorFlow对象格式存在的。本文我们将使用Sklearn中的MNIST数据集,其格式为Pandas DataFrame。MNIST数据集广泛用于图像分类任务,包括70000个手写数字的灰度图像,每个图像大小为28x28像素。该数据集被分为60000个训练图像和10000个测试图像。

from sklearn.datasets import fetch_openml# 加载MNIST数据集
# mnist = fetch_openml('mnist_784')# 输出MNIST数据集
print('Dataset type:', type(mnist.data))# 浏览一下加载的数据集
mnist.data.head()

 通过输出DataFrame的前部,我们可以观察到它包含784列,每列代表一个像素。

 将DataFrame转换为TensorFlow数据集对象

加载了Pandas DataFrame,注意到TensorFlow不支持Pandas DataFrame作为模型的输入,因此必须将DataFrame转换为可以用于训练或评估模型的张量。这个转换过程确保数据以与TensorFlow API兼容的格式存在,为了将MNIST数据集从DataFrame转换为tf.data.Dataset对象,可以执行以下步骤:

  1. 将数据和目标转换为NumPy数组并对数据进行归一化处理

  2. 使用scikit-learn中的train_test_split将数据集拆分为训练集和测试集

  3. 将训练和测试数据重塑为28x28x1的图像

  4. 使用from_tensor_slices为训练集和测试集创建tf.data.Dataset对象

def get_dataset(mnist):# 加载MNIST数据集# mnist = fetch_openml('mnist_784')# 将数据和目标转换成numpy数组X = mnist.data.astype('float32')y = mnist.target.astype('int32')# 将数据归一化,使其数值在0和1之间X /= 255.0# 将数据集分成训练集和测试集X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 将训练数据重塑为28x28x1的图像X_train = X_train.values.reshape((-1, 28, 28, 1))X_test = X_test.values.reshape((-1, 28, 28, 1))# 为训练和测试集创建TensorFlow数据集对象train_dataset = tf.data.Dataset.from_tensor_slices((X_train, y_train))test_dataset = tf.data.Dataset.from_tensor_slices((X_test, y_test))# 输出训练和测试集的形状print('Training data shape:', X_train.shape)print('Training labels shape:', y_train.shape)print('Testing data shape:', X_test.shape)print('Testing labels shape:', y_test.shape)return X_test, y_test, X_train, y_train

 再来看一下我们的训练和测试TensorFlow对象:

 经过这个过程,原始数据集已经成功转换为形状为(5600,28,28,1)的TensorFlow对象。

经过以上的步骤我们已经完成了实战的前半部分,后文将继续讲解有关定义深度学习模型、训练模型和评估模型的内容。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/7663.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

P1149火柴棒等式题解

P1149[NOIP2008 提高组] 火柴棒等式 题目描述 给你 n n n 根火柴棍,你可以拼出多少个形如 A B C ABC ABC 的等式?等式中的 A A A、 B B B、 C C C 是用火柴棍拼出的整数(若该数非零,则最高位不能是 0 0 0)。用…

详解Mybatis查询之resultType返回值类型问题【4种情况】

编译软件:IntelliJ IDEA 2019.2.4 x64 操作系统:win10 x64 位 家庭版 Maven版本:apache-maven-3.6.3 Mybatis版本:3.5.6 文章目录 引言一、查询单行数据返回单个对象二、查询多行数据返回对象的集合三、 查询单行数据返回Map[Key,…

STN:Spatial Transformer Networks

1.Abstract 卷积神经网络缺乏对输入数据保持空间不变的能力,导致模型性能下降。作者提出了一种新的可学习模块,STN。这个可微模块可以插入现有的卷积结构中,使神经网络能够根据特征图像本身,主动地对特征图像进行空间变换&#x…

15. 三数之和

题目描述 给你一个整数数组 nums ,判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ,同时还满足 nums[i] nums[j] nums[k] 0 。请 你返回所有和为 0 且不重复的三元组。 **注意:**答案中不可以包含重复的三…

Maven学习笔记

Maven学习笔记 一、MAVEN基础1.1、Maven作用1.2、Maven基础概念1.2.1、仓库1.2.2、坐标1.2.2、仓库配置 1.3、 手动写一个maven程序1.4、依赖管理1.5、生命周期与插件1.5.1、构建生命周期1.5.2、插件 一、MAVEN基础 1.1、Maven作用 Maven的本质是一个项目管理工具&#xff0c…

使用uniapp打包cocos游戏成安卓苹果APP并接入admob,unity,applovin,vungle等广告平台

最近一段时间一直在转做海外项目,由于国内应用市场不再接收休闲小游戏之类应用,并且如果走游戏分类需要游戏版号,微信小程序虽然政策要求没有这么严,但只能接微信一家广告平台,广告资源有限,除非创意类游戏…

关于一些C++、Qt、Python方面的术语

杂鱼之前纯粹用python没细致理解过的术语整理一下,常看常新( 定义 (Definition): 定义是指给一个实体分配内存空间,以便在程序中使用。在C和Python中,这个实体可以是变量、函数或类。在C中,定义通常是在声…

【计算机网络】socket编程基础

文章目录 1. 源IP地址和目的IP地址2. 理解MAC地址和目的MAC地址3. 理解源端口号和目的端口号4. PORT与PID5. 认识TCP协议和UDP协议6. 网络字节序7. socket编程接口7.1 socket常见API7.2 sockaddr结构 1. 源IP地址和目的IP地址 因特网上的每台计算机都有一个唯一的IP地址&#…

性能优化问题

提升首屏的加载速度,是前端性能优化中「最重要」的环节,这里笔者梳理出一些 常规且有效 的首屏优化建议 1、路由懒加载 SPA 项目,一个路由对应一个页面,如果不做处理,项目打包后,会把所有页面打包成一个文…

2023“钉耙编程”中国大学生算法设计超级联赛(2)

“钉耙编程"(2)1001 | hdu7287:Alice Game Alice 和 Bob玩游戏,给定 n n n和 k k k,初始有 n n n个石头排成一排,两人轮流执行以下操作: 选择一段个数 ≤ k \le k ≤k的石头,直接拿掉选择一段个数 >…

Android平台如何实现第三方模块编码后(H.264/H.265/AAC/PCMA/PCMU)数据实时预览播放

技术诉求 我们在做GB28181设备对接模块和RTMP直播推送模块的时候,遇到这样的技术需求,设备(如执法记录仪)侧除了采集传统的摄像头外,还需要对接比如大疆等第三方数据源,确保按照GB28181规范和RTMP协议规范…

【后端面经-Spring】Spring简介

【后端面经-Spring】Spring简介 1. Spring简介2. Spring模块3. Spring核心特性4. Spring的后续拓展面试模拟参考资料 1. Spring简介 Spring是为了简化java项目开发设计的一款设计层面开源框架,其设计目的就是为了“简化开发”。 它使用分层架构,解决业务…

[NLP]Huggingface模型/数据文件下载方法

问题描述 作为一名自然语言处理算法人员,hugging face开源的transformers包在日常的使用十分频繁。在使用过程中,每次使用新模型的时候都需要进行下载。如果训练用的服务器有网,那么可以通过调用from_pretrained方法直接下载模型。但是就本人…

后端服务迁移方案及过程记录

阶段时序动作双写数据对比1新rdb集群上线双写数据对比2新服务上线,无流量双写数据对比2后端自己发起的流程比如job,新服务上线一份新的,独立运行双写数据对比2消费二方mq,新服务使用新的消费组消费原有消息双写数据对比3新旧服务比…

React Dva项目中.roadhogrc.mock.js直接自动导入mock目录下所有文件方式

上文 React Dva项目中模仿网络请求数据方法 中,我们书写了Dva项目模拟后端数据的方式 但是 我们.roadhogrc.mock.js中的这个处理其实并不好用 我们还需要一个一个的引入 我们可以直接靠一段代码 import fs from fs; import path from path; const mock {} fs.re…

19. 删除链表的倒数第 N 个结点

题目介绍 给你一个链表,删除链表的倒数第 n 个结点,并且返回链表的头结点。 示例 1: 输入:head [1,2,3,4,5], n 2 输出:[1,2,3,5]示例 2: 输入:head [1], n 1 输出:[]示例 3&…

【C++STL标准库】容器适配器

功能:将功能类似,但是接口不符合的接口转换成另一个接口 stack 栈stack(栈) 特点:先入后出,只能从栈顶弹出值,只能从栈顶压入值 也就是说栈需要的功能:push_back、pop_back 所以可…

NLP(六十二)HuggingFace中的Datasets使用

Datasets库是HuggingFace生态系统中一个重要的数据集库,可用于轻松地访问和共享数据集,这些数据集是关于音频、计算机视觉、以及自然语言处理等领域。Datasets 库可以通过一行来加载一个数据集,并且可以使用 Hugging Face 强大的数据处理方法…

[Tools: tiny-cuda-nn] Linux安装

official repo: https://github.com/NVlabs/tiny-cuda-nn 该包可以显著提高NeRF训练速度,是Instant-NGP、Threestudio和NeRFstudio等框架中,必须使用的。 1. 命令行安装 最便捷的安装方式,如果安装失败考虑本地编译。 pip install ninja g…

使用机器学习实现自动化测试:提高效率和准确性

自动化测试:使用机器学习提高效率和准确性 在软件开发的过程中,测试是一个至关重要的环节。传统的手动测试往往耗时耗力,而且存在人为疏漏的可能。为了解决这些问题,许多团队开始将机器学习应用于自动化测试,以提高测试…