基于Keras的卷积神经网络用于猫狗分类(未进行数据增强)+卷积层可视化

首先看数据集路径:

cats和dogs存放的就是各种大小的猫狗图片。

读取数据集代码:

import os
import matplotlib.pyplot as plt
"""
读取数据 返回数据的文件夹名字,和具体的猫狗的路径
"""
def read_data():
#提取数据集的样本路径base_dir='./data/cats_and_dogs_filtered'train_dir=os.path.join(base_dir,'train')validation_dir=os.path.join(base_dir,'validation')train_cats_dir=os.path.join(train_dir,'cats')train_dogs_dir=os.path.join(train_dir,'dogs')validation_cats_dir=os.path.join(validation_dir,'cats')validation_dogs_dir=os.path.join(validation_dir,'dogs')#对狗和猫的图片名称提取存放在列表里train_cat_fnames=os.listdir(train_cats_dir)train_cat_fnames.sort()print(train_cat_fnames[:10])train_dog_fnames=os.listdir(train_dogs_dir)train_dog_fnames.sort()print(train_dog_fnames[:10])# print(len(os.listdir(train_cats_dir)))# pic_index=0# plt.figure(figsize=(16,16))#设置画布大小为1600×1600# # fig=plt.gcf()# # fig.set_size_inches(ncols*4,nrows*4)# pic_index+=8#提取数据集具体的路径进入列表中next_cat_pix=[os.path.join(train_cats_dir,fname)for fname in train_cat_fnames]#print(next_cat_pix)next_dog_pix=[os.path.join(train_dogs_dir,fname)for fname in train_dog_fnames]return train_dir,validation_dir,next_cat_pix,next_dog_pixdef test():train_dir,validation_dir,next_cat_pix,next_dog_pix=read_data()print(train_dir)print(validation_dir)print(next_dog_pix)nrows = 4ncols = 4for i,img_path in enumerate(next_cat_pix+next_dog_pix):if i<16:sp=plt.subplot(nrows,ncols,i+1)sp.axis('off')#去除轴img=plt.imread(img_path)#读取图片plt.imshow(img)plt.show()if __name__ == '__main__':# read_data()test()

打印结果:打印16张照片看看

模型代码:

import numpy as np
import matplotlib.pyplot as plt
import random
import data_read
import tensorflow as tf
from keras.models import Model
from keras import  layers,optimizers
from keras import backend as K
from keras.preprocessing.image import ImageDataGenerator,img_to_array,load_img
"""
获得所需求的图片--未进行图像增强
"""
def data_deal():# 获取数据的路径train_dir, validation_dir, next_cat_pix, next_dog_pix = data_read.read_data()#像素缩小到0~1train_datagen=ImageDataGenerator(rescale=1./255)test_datagen=ImageDataGenerator(rescale=1./255)#从文件夹获取所需要求的图片#优点 能够根据train下的两个文件夹二分类train_generator=train_datagen.flow_from_directory(train_dir,target_size=(150,150),batch_size=20,class_mode='binary')test_generator = test_datagen.flow_from_directory(validation_dir,target_size=(150, 150),batch_size=20,class_mode='binary')# print(train_generator)# print(test_generator.samples)return train_generator,test_generator
"""
定义模型
"""
def define_model():
#定义TF backend session# tf_config=tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))# K.set_session(tf.Session(config=tf_config))#卷积过程 三层卷积img_input=layers.Input(shape=(150,150,3))x=layers.Conv2D(filters=16,kernel_size=(3,3),activation='relu')(img_input)print('第一次卷积尺寸={}'.format(x.shape))x=layers.MaxPooling2D(strides=(2,2))(x)print('第一次池化尺寸={}'.format(x.shape))x=layers.Conv2D(filters=32,kernel_size=(3,3),activation='relu')(x)print('第二次卷积尺寸={}'.format(x.shape))x=layers.MaxPooling2D(strides=(2,2))(x)print('第二次池化尺寸={}'.format(x.shape))x=layers.Conv2D(filters=64,kernel_size=(3,3),activation='relu')(x)print('第三次卷积尺寸={}'.format(x.shape))x=layers.MaxPooling2D(strides=(2,2))(x)print('第三次池化尺寸={}'.format(x.shape))#全连接层x=layers.Flatten()(x)x=layers.Dense(512,activation='relu')(x)output=layers.Dense(1,activation='sigmoid')(x)model=Model(inputs=img_input,outputs=output,name='CAT_DOG_Model')return img_input,model
"""
训练模型
"""
def train_model():#构建网络模型img_input,model=define_model()#编译模型model.compile(optimizer=optimizers.RMSprop(lr=0.001),loss='binary_crossentropy',metrics=['accuracy'])train_generator,test_generator=data_deal()#verbose:日志显示,0为不在标准输出流输出日志信息,1为输出进度条记录,2为每个epoch输出一行记录print('=============开始训练模型==================')#训练模型history=model.fit_generator(train_generator,steps_per_epoch=100,#2000 images=batch_szie*stepsepochs=10,validation_data=test_generator,validation_steps=50,#1000=20*50verbose=2)# 模型参数个数model = model.summary()# print(model)#精度acc=history.history['acc']val_acc=history.history['val_acc']print('训练集精度={}'.format(acc))print('验证集精度={}'.format(val_acc))#损失loss=history.history['loss']val_loss=history.history['val_loss']print('训练集损失值={}'.format(loss))print('验证集损失值={}'.format(val_loss))#epochs的数量epochs=range(len(acc))plt.plot(epochs,acc)plt.plot(epochs, val_acc)plt.title('training and validation accuracy')plt.figure()plt.plot(epochs, loss)plt.plot(epochs, val_loss)plt.title('training and validation loss')plt.show()"""
查看卷积层生成的图
"""
def visualize_model():img_input,model=define_model()# print(model.layers)#存储每一层的tensor的shape 类型等successive_outputs=[layer.output for layer in model.layers]print('查看输出={}'.format(successive_outputs))visualization_model=Model(img_input,successive_outputs)#从训练集例返回图片的地址train_dir, validation_dir, cat_img_files,dog_img_files = data_read.read_data()#返回随机一张图片的地址img_path=random.choice(cat_img_files+dog_img_files)img=load_img(img_path,target_size=(150,150))x=img_to_array(img)#print(x.shape)#变成(1,150,150,3)x=x.reshape((1,)+x.shape)x/=255#(samples,150,150,3) 存储10层的信息successive_feature_maps=visualization_model.predict(x)print('该模型结构层数={}'.format(len(successive_feature_maps)))for i in range(len(successive_feature_maps)):print('第{}层shape={}'.format(i,successive_feature_maps[i].shape))layer_names=[layer.name for layer in model.layers]#zip 打包成一个个元组以列表形式返回[(),()]#并且遍历元组里的内容images_per_row = 16for layer_name,feature_map in zip(layer_names,successive_feature_maps):if len(feature_map.shape)==4:#只查看卷积层n_features=feature_map.shape[-1]#(1,150,150,3)取3 取出深度size=feature_map.shape[1]##(1,150,150,3)取150  尺寸大小n_cols = n_features // images_per_rowdisplay_grid=np.zeros((size*n_cols,size*images_per_row))for col in range(n_cols):for row in range(images_per_row):x=feature_map[0,:,:,col*images_per_row+row]x-=x.mean()x/=(x.std()+0.001)x*=64x+=128#限定x的值大小 小于0 则为0  大于255则为255x=np.clip(x,0,255).astype('uint8')display_grid[col*size:(col+1)*size,row*size:(row+1)*size]=x#第一种显示方法scale=1./sizeplt.figure(figsize=(scale*display_grid.shape[1],scale*display_grid.shape[0]))plt.title(layer_name)plt.grid(False)plt.imshow(display_grid, aspect='auto', cmap='viridis')plt.savefig('{}+{}.jpg'.format(layer_name,col))#第二种显示方法# sp = plt.subplot(4, 4, i + 1)# sp.axis('off')  # 去除轴# plt.imshow(display_grid[:,i*size:(i+1)*size],aspect='auto',cmap='viridis')plt.show()
if __name__ == '__main__':train_model()#visualize_model()# data_deal()

训练10个epoch打印结果:

可看出训练精度一直上升,损失值一直减少,测试精度上升一定就稳定了,且损失值一直上升,因为发生了过拟合,下一步就要解决过拟合。

调用卷积层可视化函数,打印

第一次卷积尺寸=(?, 148, 148, 16)
第一次池化尺寸=(?, 74, 74, 16)
第二次卷积尺寸=(?, 72, 72, 32)
第二次池化尺寸=(?, 36, 36, 32)
第三次卷积尺寸=(?, 34, 34, 64)
第三次池化尺寸=(?, 17, 17, 64)

的卷积图,如下:

可发现越到后面越模糊,因为提取了高级特征,具有泛化能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/493585.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

芯片植入:“增强人类”的生物黑科技

来源&#xff1a;资本实验室摘要&#xff1a;当医疗、电子、生物科技快速发展&#xff0c;并紧密融合的时候&#xff0c;许多科幻电影中的场景正在不断变为现实&#xff0c;而“增强人类”、”赛博格“、“电子人”、“生化人”正在成为这个时代最值得期待&#xff0c;又多少让…

如何通过VC的 CHttpFile 抓取网页内容

在点击一个按钮时开始请求你输入的地址。void CHttpFileDlg::OnButton1() {   CString url;   GetDlgItemText(IDC_EDIT1,url); // IDC_EDIT1 是一个输入框的名字。   char* headers"Accept:*/*\r\nAccept-Language:zh-cn\r\nUser-Agent:VCTestClient\r\n"; …

windows安装ubuntu16.04LTS 更换系统源为阿里源 安装ubuntu找不到windows 删除内核 更换pip源 升级pip源报错 ubuntu命令

一&#xff0c;安装ubuntu ubuntu镜像Index of /ubuntu-releases/18.04/ 首先在windows下硬盘划分出100G的空间&#xff0c;并且制作一个ubuntu的启动盘。在windows安装easy BCD用于开机启动ubuntu。下面看安装过程&#xff1a; 选择语言&#xff0c;我选择是英语 我选择的是…

基本系统部署完成!北斗三号闪耀中国智慧

▲ 第四十二、四十三颗北斗导航卫星乘长三乙火箭升空来源&#xff1a;航天501部2018年11月19日&#xff0c;第四十二、四十三颗北斗导航卫星在西昌卫星发射中心腾空而起。作为北斗三号第十八颗、第十九颗卫星&#xff0c;此次双星的成功发射&#xff0c;标志着北斗三号全球组网…

基于Keras的卷积神经网络用于猫狗分类(进行了数据增强)+卷积层可视化

接着我上一篇博客&#xff0c;https://blog.csdn.net/fanzonghao/article/details/81149153。 在上一篇基础上对数据集进行数据增强。函数如下&#xff1a; """ 查看图像增强是否发生作用 """ def see_pic_aug():train_datagen ImageDataGene…

深圳神经科学研究院院长谭力海: AI取代人脑? 不, 必须向人脑“学习”!

来源&#xff1a;读创科技摘要&#xff1a;从“深蓝”到“阿尔法狗”&#xff0c;人工智能技术日益成熟&#xff0c;“AI何时替代人脑”的争论也在不断升级。人工智能真的能超越人脑吗&#xff1f;11月15日在高交会“颠覆性创新技术”主题论坛上&#xff0c;深圳神经科学研究院…

好的PPT——准备工作

首先介绍PPT的一些基本技巧。 在选项界面&#xff0c;我们需要调整一些选项&#xff1a;控制最大可回退次数&#xff1b;语法自动检查&#xff1b;字体嵌入PPT&#xff0c;调整自动保存的时间间隔。 对于一些常用操作&#xff0c;可以右键添加到常用工具栏。 可以很方便地调整不…

ubuntu安装谷歌浏览器 typora+出现编码错误‘ascii‘ codec can‘t encode character ‘\u6b66‘+docker里安装tensorrt报错

一.首先下载谷歌浏览器 https://www.google.cn/chrome/ sudo dpkg -i google-chrome-stable_current_amd64.deb 就安装好了&#xff0c;search谷歌浏览器就可以啦。 二,安装typora # optional, but recommendedsudo apt-key adv --keyserver keyserver.ubuntu.com --recv-ke…

中国安防为何世界最强?中科院AI+安防报告,解密8大趋势和8大限制【附下载】| 智东西内参...

来源&#xff1a;智东西传统的安防企业、新兴的 AI 初创企业&#xff0c;开始积极从技术各个维度拥抱人工智能&#xff0c;在模式识别基础理论、图像处理、计算机视觉以及语音信息处理展开了集中研究与持续创新&#xff0c;探索模式识别机理以及有效计算方法&#xff0c;为解决…

利用Inception-V3训练的权重微调,实现猫狗分类(基于keras)

利用Inception-V3训练的权重微调实现猫狗的分类&#xff0c;其中权重的下载在我的博客下载资源处&#xff0c;https://download.csdn.net/download/fanzonghao/10566634 第一种权重不改变直接用mixed7层&#xff08;mixed7呆会把打印结果一放就知道了&#xff09;进行特征提取…

刘锋:互联网左右大脑结构与钱学森开放复杂巨系统

作者&#xff1a;刘锋 互联网进化论作者 计算机博士前言&#xff1a;1990年&#xff0c;钱学森提出了开放的复杂巨系统理论&#xff0c;并提出以人为主&#xff0c;人机结合&#xff0c;从定性到定量的综合集成研究方法&#xff0c;他也预见性的提出“因特网正好生动地体现了…

手写字母数据集转换为.pickle文件

首先是数据集&#xff0c;我上传了相关的资源&#xff0c;https://download.csdn.net/download/fanzonghao/10566701 转换代码如下&#xff1a; import numpy as np import os import matplotlib.pyplot as plt import matplotlib.image as mpig import imageio import pickle…

一文看懂谷歌的AI芯片布局,边缘端TPU将大发神威

来源&#xff1a;新电子2018年7月Google在其云端服务年会Google Cloud Next上正式发表其边缘(Edge)技术&#xff0c;与另两家国际公有云服务大厂Amazon/AWS、Microsoft Azure相比&#xff0c;Google对于边缘技术已属较晚表态、较晚布局者&#xff0c;但其技术主张却与前两业者有…

opencv图像处理中的一些滤波器+利用滤波器提取条形码(解析二维码)+公交卡倾斜矫正+物体尺寸丈量

一般来说,图像的能量主要集中在其低频部分,噪声所在的频段主要在高频段,同时图像中的细节信息也主要集中在其高频部分,因此,如何去掉高频干扰同时又保持细节信息是关键。为了去除噪声,有必要对图像进行平滑,可以采用低通滤波的方法去除高频干扰。图像平滑包括空域法和频域法两大…

智联汽车:复盘国内巨头布局

来源&#xff1a;申万宏源摘要&#xff1a;从今年阿里9月云栖大会、华为10月全联接大会、百度11月世界大会、腾讯11月合作伙伴大会可以发现BATH均高调展示了各自在汽车科技领域的研发成果;而京东、滴滴两家公司近两年来关于汽车科技领域的动态亦在频频更新。▌车联网:车载OS竞争…

Tomcat基础教程(一)

Tomcat, 是Servlet和JSP容器&#xff0c;其是实现了JSP规范的servlet容器。它在servlet生命周期内包容&#xff0c;装载&#xff0c;运行&#xff0c;和停止servlet容器。 Servlet容器的三种工作模式&#xff1a; 1. 独立的Servlet容器 Servlet容器与基于JAVA技术的Web服务器集…

opencv--图像金字塔

一&#xff0c;高斯金字塔--图片经过高斯下采样 """ 高斯金字塔 """ def gauss_pyramid():img cv2.imread(./data/img4.png)lower_reso cv2.pyrDown(img)lower_reso2 cv2.pyrDown(lower_reso)plt.subplot(131), plt.imshow(img)plt.title(In…

中国移动:5G蜂窝IoT关键技术分析

来源&#xff1a;5G本文讨论了蜂窝物联网的技术现状&#xff0c;针对增强机器类通信和窄带物联网技术标准&#xff0c;提出了2种现网快速部署方案&#xff0c;并进一步指出了C-IoT面向5G的演进路径。该路径充分考虑了5G网络中网络功能虚拟化、软件定义网络、移动边缘计算和大数…

清华大学发布:人脸识别最全知识图谱

来源&#xff1a;智东西摘要&#xff1a;本期我们推荐来自清华大学副教授唐杰领导的学者大数据挖掘项目Aminer的研究报告&#xff0c;讲解人脸识别技术及其应用领域&#xff0c;介绍人脸识别领域的国内玩人才并预测该技术的发展趋势。自20世纪下半叶&#xff0c;计算机视觉技术…

图像变换dpi(tif->jpg),直方图均衡化,腐蚀膨胀,分水岭,模板匹配,直线检测

一.图像变换dpi 1.示例1 import numpy as np from PIL import Image import cv2 def test_dp():path./gt_1.tif# imgImage.open(path)# print(img.size)# print(img.info)imgcv2.imread(path)imgImage.fromarray(img)print(img.size)print(img.info)img.save(test.jpg, dpi(3…