PyTorch深度学习实战（25）——自编码器

PyTorch深度学习实战（25）——自编码器

    • 0. 前言
    • 1. 自编码器
    • 2. 使用 PyTorch 实现自编码器
    • 小结
    • 系列链接

0. 前言

自编码器 (Autoencoder) 是一种无监督学习的神经网络模型，用于数据的特征提取和降维，它由一个编码器 (Encoder) 和一个解码器 (Decoder) 组成，通过将输入数据压缩到低维表示，然后再重构出原始数据。在本节中，我们将学习如何使用自编码器，以在低维空间表示图像，学习以较少的维度表示图像有助于修改图像，可以利用低维表示来生成新图像。

1. 自编码器

我们已经学习了通过输入图像及其相应标签训练模型来对图像进行分类，进行分类的前提是是拥有带有类别标签的数据集。假设数据集中没有图像对应的标签，如果需要根据图像的相似性对图像进行聚类，在这种情况下，自编码器可以方便地识别和分组相似的图像。
自动编码器将图像作为输入，将其存储在低维空间中，并尝试通过解码过程输出相同图像，而不使用其他标签，因此 AutoEncoder 中的 Auto 表示能够再现输入。但是，如果我们只需要简单的在输出中重现输入，就不需要神经网络了，只需要将输入简单地原样输出即可。自编码器的作用在于它能够以较低维度对图像信息进行编码，因此称为编码器(将图像信息编码至较低维空间中)，因此，相似的图像具有相似的编码。此外，解码器致力于根据编码矢量重建原始图像，以尽可能重现输入图像：

自编码器

假设模型输入图像是 MNIST 手写数字图像，模型输出图像与输入图像相同。最中间的网络层是编码层，也称瓶颈层 (bottleneck layer)，输入和瓶颈层之间发生的操作表示编码器，瓶颈层和输出之间的操作表示解码器。
通过瓶颈层，我们可以在低维空间中表示图像，也可以重建原始图像，换句话说，利用自编码器中的瓶颈层能够解决识别相似图像以及生成新图像的问题，具体而言：

  • 具有相似瓶颈层值(编码表示，也称潜编码)的图像可能彼此相似
  • 通过改变瓶颈层的节点值，可以改变输出图像。

2. 使用 PyTorch 实现自编码器

本节中，使用 PyTorch 构建自编码器，我们使用 MNIST 数据集训练此网络，MNIST 数据集中是一个手写数字的图像数据集，包含了 6 万个 28x28 像素的训练样本和 1 万个测试样本。

(1) 导入相关库并定义设备：

from torchvision.datasets import MNIST
from torchvision import transforms
from torch.utils.data import DataLoader, Dataset
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import datasets, transforms
from torchvision.utils import make_grid
import numpy as np
from matplotlib import pyplot as plt
device = 'cuda' if torch.cuda.is_available() else 'cpu'

(2) 指定图像转换方法：

img_transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize([0.5], [0.5]),transforms.Lambda(lambda x: x.to(device))
])

通过以上代码，将图像转换为张量，对其进行归一化，然后将其传递到设备中。

(3) 创建训练和验证数据集：

trn_ds = MNIST('MNIST/', transform=img_transform, train=True, download=True)
val_ds = MNIST('MNIST/', transform=img_transform, train=False, download=True)

(4) 定义数据加载器：

batch_size = 256
trn_dl = DataLoader(trn_ds, batch_size=batch_size, shuffle=True)
val_dl = DataLoader(val_ds, batch_size=batch_size, shuffle=False)

(5) 定义网络架构，在 __init__ 方法中定义了使用编码器-解码器架构的 AutoEncoder 类，以及瓶颈层的维度，latent_dim 和 forward 方法，并打印模型摘要信息。

定义 AutoEncoder 类和包含编码器、解码器以及瓶颈层维度的 __init__ 方法：

class AutoEncoder(nn.Module):def __init__(self, latent_dim):super().__init__()self.latend_dim = latent_dimself.encoder = nn.Sequential(nn.Linear(28 * 28, 128), nn.ReLU(True),nn.Linear(128, 64), nn.ReLU(True), #nn.Linear(64, 12),  nn.ReLU(True), nn.Linear(64, latent_dim))self.decoder = nn.Sequential(#nn.Linear(latent_dim, 12), nn.ReLU(True),nn.Linear(latent_dim, 64), nn.ReLU(True),nn.Linear(64, 128), nn.ReLU(True), nn.Linear(128, 28 * 28), nn.Tanh())

定义前向计算方法 forward：

    def forward(self, x):x = x.view(len(x), -1)x = self.encoder(x)x = self.decoder(x)x = x.view(len(x), 1, 28, 28)return x

打印模型摘要信息：

from torchsummary import summary
model = AutoEncoder(3).to(device)
print(summary(model, (1,28,28)))

模型架构信息输出如下：

----------------------------------------------------------------Layer (type)               Output Shape         Param #
================================================================Linear-1                  [-1, 128]         100,480ReLU-2                  [-1, 128]               0Linear-3                   [-1, 64]           8,256ReLU-4                   [-1, 64]               0Linear-5                    [-1, 3]             195Linear-6                   [-1, 64]             256ReLU-7                   [-1, 64]               0Linear-8                  [-1, 128]           8,320ReLU-9                  [-1, 128]               0Linear-10                  [-1, 784]         101,136Tanh-11                  [-1, 784]               0
================================================================
Total params: 218,643
Trainable params: 218,643
Non-trainable params: 0
----------------------------------------------------------------
Input size (MB): 0.00
Forward/backward pass size (MB): 0.02
Params size (MB): 0.83
Estimated Total Size (MB): 0.85
----------------------------------------------------------------

从前面的输出中，可以看到 Linear: 2-5 层是瓶颈层，将每张图像都表示为一个 3 维向量；此外，解码器使用瓶颈层中的 3 维向量重建原始图像。

(6) 定义函数在批数据上训练模型 train_batch()：

def train_batch(input, model, criterion, optimizer):model.train()optimizer.zero_grad()output = model(input)loss = criterion(output, input)loss.backward()optimizer.step()return loss

(7) 定义在批数据上进行模型验证的函数 validate_batch()：

@torch.no_grad()
def validate_batch(input, model, criterion):model.eval()output = model(input)loss = criterion(output, input)return loss

(8) 定义模型、损失函数和优化器：

model = AutoEncoder(3).to(device)
criterion = nn.MSELoss()
optimizer = torch.optim.AdamW(model.parameters(), lr=0.001, weight_decay=1e-5)

(9) 训练模型：

num_epochs = 20
train_loss_epochs = []
val_loss_epochs = []
for epoch in range(num_epochs):N = len(trn_dl)trn_loss = []val_loss = []for ix, (data, _) in enumerate(trn_dl):loss = train_batch(data, model, criterion, optimizer)pos = (epoch + (ix+1)/N)trn_loss.append(loss.item())train_loss_epochs.append(np.average(trn_loss))N = len(val_dl)for ix, (data, _) in enumerate(val_dl):loss = validate_batch(data, model, criterion)pos = epoch + (1+ix)/Nval_loss.append(loss.item())val_loss_epochs.append(np.average(val_loss))

(10) 可视化训练期间模型的训练和验证损失随时间的变化情况：

epochs = np.arange(num_epochs)+1
plt.plot(epochs, train_loss_epochs, 'bo', label='Training loss')
plt.plot(epochs, val_loss_epochs, 'r-', label='Test loss')
plt.title('Training and Test loss over increasing epochs')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.grid('off')
plt.show()

模型监测
(11) 使用测试数据集 val_ds 验证模型：

for _ in range(5):ix = np.random.randint(len(val_ds))im, _ = val_ds[ix]_im = model(im[None])[0]plt.subplot(121)# fig, ax = plt.subplots(1,2,figsize=(3,3)) plt.imshow(im[0].detach().cpu(), cmap='gray')plt.title('input')plt.subplot(122)plt.imshow(_im[0].detach().cpu(), cmap='gray')plt.title('prediction')
plt.show()

重建图像
我们可以看到，即使瓶颈层只有三个维度，网络也可以非常准确地重现输入，但是图像并不像预期的那样清晰，主要是因为瓶颈层中的节点数量过少。具有不同瓶颈层大小 (2、3、5、10 和 50) 的网络训练后，可视化重建的图像如下所示：

def train_aec(latent_dim):model = AutoEncoder(latent_dim).to(device)criterion = nn.MSELoss()optimizer = torch.optim.AdamW(model.parameters(), lr=0.001, weight_decay=1e-5)num_epochs = 20train_loss_epochs = []val_loss_epochs = []for epoch in range(num_epochs):N = len(trn_dl)trn_loss = []val_loss = []for ix, (data, _) in enumerate(trn_dl):loss = train_batch(data, model, criterion, optimizer)pos = (epoch + (ix+1)/N)trn_loss.append(loss.item())train_loss_epochs.append(np.average(trn_loss))N = len(val_dl)trn_loss = []val_loss = []for ix, (data, _) in enumerate(val_dl):loss = validate_batch(data, model, criterion)pos = epoch + (1+ix)/Nval_loss.append(loss.item())val_loss_epochs.append(np.average(val_loss))epochs = np.arange(num_epochs)+1plt.plot(epochs, train_loss_epochs, 'bo', label='Training loss')plt.plot(epochs, val_loss_epochs, 'r-', label='Test loss')plt.title('Training and Test loss over increasing epochs')plt.xlabel('Epochs')plt.ylabel('Loss')plt.legend()plt.grid('off')plt.show()return modelaecs = [train_aec(dim) for dim in [50, 2, 3, 5, 10]]for _ in range(10):ix = np.random.randint(len(val_ds))im, _ = val_ds[ix]plt.subplot(1, len(aecs)+1, 1)plt.imshow(im[0].detach().cpu(), cmap='gray')plt.title('input')idx = 2for model in aecs:_im = model(im[None])[0]plt.subplot(1, len(aecs)+1, idx)plt.imshow(_im[0].detach().cpu(), cmap='gray')plt.title(f'prediction\nlatent-dim:{model.latend_dim}')idx += 1
plt.show()

请添加图片描述

随着瓶颈层中向量维度的增加，重建图像的清晰度逐渐提高。

小结

自编码器是一种无监督学习的神经网络模型，用于数据的特征提取和降维。它由编码器和解码器组成，通过将输入数据压缩到低维表示，并尝试重构出原始数据来实现特征提取和数据的降维。自编码器的训练过程中，目标是最小化输入数据与重构数据之间的重建误差，以使编码器捕捉到数据的关键特征。自编码器在无监督学习和深度学习中扮演着重要的角色，能够从数据中学习有用的特征，并为后续的机器学习任务提供支持。

系列链接

PyTorch深度学习实战（1）——神经网络与模型训练过程详解
PyTorch深度学习实战（2）——PyTorch基础
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
PyTorch深度学习实战（4）——常用激活函数和损失函数详解
PyTorch深度学习实战（5）——计算机视觉基础
PyTorch深度学习实战（6）——神经网络性能优化技术
PyTorch深度学习实战（7）——批大小对神经网络训练的影响
PyTorch深度学习实战（8）——批归一化
PyTorch深度学习实战（9）——学习率优化
PyTorch深度学习实战（10）——过拟合及其解决方法
PyTorch深度学习实战（11）——卷积神经网络
PyTorch深度学习实战（12）——数据增强
PyTorch深度学习实战（13）——可视化神经网络中间层输出
PyTorch深度学习实战（14）——类激活图
PyTorch深度学习实战（15）——迁移学习
PyTorch深度学习实战（16）——面部关键点检测
PyTorch深度学习实战（17）——多任务学习
PyTorch深度学习实战（18）——目标检测基础
PyTorch深度学习实战（19）——从零开始实现R-CNN目标检测
PyTorch深度学习实战（20）——从零开始实现Fast R-CNN目标检测
PyTorch深度学习实战（21）——从零开始实现Faster R-CNN目标检测
PyTorch深度学习实战（22）——从零开始实现YOLO目标检测
PyTorch深度学习实战（23）——使用U-Net架构进行图像分割
PyTorch深度学习实战（24）——从零开始实现Mask R-CNN实例分割

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/217845.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

20分钟部署ChatGLM3-6B

20分钟部署ChatGLM3-6B

准备工作 1.下载源代码： https://github.com/THUDM/ChatGLM3 2.下载预训练模型： https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files 可以创建一个py文件，直接使用如下代码下载到本地： from modelscope.hub.snapshot_dow…
阅读更多...
python实现形态学建筑物指数MBI提取建筑物及数据获取

python实现形态学建筑物指数MBI提取建筑物及数据获取

前言 形态学建筑物指数MBI通过建立建筑物的隐式特征和形态学算子之间的关系进行建筑物的提取[1]。 原理 上图源自[2]。 实验数据 简单找了一张小图片： test.jpg 代码 为了支持遥感图像，读写数据函数都是利用GDAL写的。 import numpy as np import …
阅读更多...
LNMP网站架构分布式搭建部署

LNMP网站架构分布式搭建部署

1. 数据库的编译安装 1. 安装软件包 2. 安装所需要环境依赖包 3. 解压缩到软件解压缩目录，使用cmake进行编译安装以及模块选项配置（预计等待20分钟左右），再编译及安装 4. 创建mysql用户 5. 修改mysql配置文件，删除…
阅读更多...
时间序列预测 — BiLSTM实现多变量多步光伏预测(Tensorflow)

时间序列预测 — BiLSTM实现多变量多步光伏预测(Tensorflow)

目录 1 数据处理 1.1 导入库文件 1.2 导入数据集 1.3 缺失值分析 2 构造训练数据 3 模型训练 3.1 BiLSTM网络 3.2 模型训练 4 模型预测 1 数据处理 1.1 导入库文件 import time import datetime import pandas as pd import numpy as np import matplotlib.pyplot…
阅读更多...
触发器和函数：让代码更接近数据

触发器和函数：让代码更接近数据

来源：艾特保IT 虹科干货丨触发器和函数：让代码更接近数据 原文链接：虹科干货 | 触发器和函数：让代码更接近数据 欢迎关注虹科，为您提供最新资讯！ 文章速览： 触发器和函数的基础知识 编写语言…
阅读更多...
AI创新之美：AIGC探讨2024年春晚吉祥物龙辰辰的AI绘画之独特观点

AI创新之美：AIGC探讨2024年春晚吉祥物龙辰辰的AI绘画之独特观点

🎬 鸽芷咕：个人主页 🔥 个人专栏:《粉丝福利》 《linux深造日志》 ⛺️生活的理想，就是为了理想的生活! 文章目录 引言一、龙辰辰事件概述二、为什么龙辰辰会被质疑AI创作？1.1 AI 作画的特点2.2 关于建行的合作宣传图…
阅读更多...
都是星光赶路人

都是星光赶路人

不知不觉已经快工作五年了，工作以后就感觉时间一年比一年快，仿佛昨天才刚毕业，就像陈鸿宇歌中的那样，多少遗憾自负存念想，唯有时间不可挡。五年，思考了很多，也想明白了许多。正好借着年末&#…
阅读更多...
Angular+Nginx区域HIS医院信息管理系统源码

Angular+Nginx区域HIS医院信息管理系统源码

医院管理信息系统（HIS）是医院基本、重要的管理系统，是医院大数据的基础。“云”指系统采用云计算的技术和建设模式，具有可扩展、易共享、区域化、易协同、低成本、易维护、体验好的优势。“H”是医疗卫生，由原来医院 (…
阅读更多...
利用transition-group标签包裹li标签，实现输入数据后按Enter键将数据添加到列表中

利用transition-group标签包裹li标签，实现输入数据后按Enter键将数据添加到列表中

1.效果图 2.代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title></title><script src"https://cdn.bootcdn.net/ajax/libs/vue/2.3.0/vue.js"></script><div id&quo…
阅读更多...
CLEAR MOT评估指标

CLEAR MOT评估指标

错误正样本&#xff08;False Positive&#xff0c;FP&#xff09;&#xff1a;整个视频中被预测为正的负样本数。 错误负样本&#xff08;False Negatives&#xff0c;FN&#xff09;&#xff1a;整个视频中被预测为负的正样本数。 IDs&#xff1a;跟踪过程中目标ID切换总数。…
阅读更多...
QT----第三天，Visio stdio自定义封装控件

QT----第三天，Visio stdio自定义封装控件

目录 第三天1 自定义控件封装 源码&#xff1a;CPP学习代码 第三天 1 自定义控件封装 新建一个QT widgetclass&#xff0c;同时生成ui,h,cpp文件 在smallWidget.ui里添加上你想要的控件并调试大小 回到mainwidget.ui&#xff0c;拖入一个widget&#xff08;因为我们封装的也…
阅读更多...
【送书活动】探究AIGC、AGI、GPT和人工智能大模型

【送书活动】探究AIGC、AGI、GPT和人工智能大模型

文章目录 前言01 《ChatGPT 驱动软件开发》推荐语 02 《ChatGPT原理与实战》推荐语 03 《神经网络与深度学习》推荐语 04 《AIGC重塑教育》推荐语 05 《通用人工智能》推荐语 后记赠书活动 前言 人工智能技术在过去几年中发展迅猛&#xff0c;得益于大数据、云计算、深度学习等…
阅读更多...
C++1114新标准——统一初始化（Uniform Initialization）、Initializer_list（初始化列表）、explicit

C++1114新标准——统一初始化（Uniform Initialization）、Initializer_list（初始化列表）、explicit

系列文章目录 C11&14新标准——Variadic templates&#xff08;数量不定的模板参数&#xff09; C11&14新标准——Uniform Initialization&#xff08;统一初始化&#xff09;、Initializer_list&#xff08;初始化列表&#xff09;、explicit 文章目录 系列文章目录1…
阅读更多...
TiDB 7.5 LTS 发版丨提升规模化场景下关键应用的稳定性和成本的灵活性

TiDB 7.5 LTS 发版丨提升规模化场景下关键应用的稳定性和成本的灵活性

作者&#xff1a; TiDB社区小助手 原文来源&#xff1a; https://tidb.net/blog/1cffec89 互联网时代&#xff0c;数据的迅猛增长给数据库带来了可扩展性的挑战&#xff0c;Gen AI 带来的数据暴增更加剧了这种挑战。传统的数据分片已经不能承载新时代数据暴增的需求&#xf…
阅读更多...
UE4 Niagara学习笔记

UE4 Niagara学习笔记

需要在其他发射器的同一个粒子位置发射其他粒子就用Spawn Particles from other Emitter 把发射器名字填上去即可 这里Move to Nearest Distance Field Subface GPU&#xff0c;可以将生成的Niagara附着到最近的物体上 使用场景就是做的火苗附着到物体上
阅读更多...
【每日一题】2697. 字典序最小回文串-2023.12.13

【每日一题】2697. 字典序最小回文串-2023.12.13

题目&#xff1a; 2697. 字典序最小回文串 给你一个由 小写英文字母 组成的字符串 s &#xff0c;你可以对其执行一些操作。在一步操作中&#xff0c;你可以用其他小写英文字母 替换 s 中的一个字符。 请你执行 尽可能少的操作 &#xff0c;使 s 变成一个 回文串 。如果执行…
阅读更多...
Python和Beautiful Soup爬虫助力提取文本内容

Python和Beautiful Soup爬虫助力提取文本内容

大家好&#xff0c;网络爬虫是一项非常抢手的技能&#xff0c;收集、分析和清洗数据是数据科学项目中最重要的部分。今天介绍如何从链接中爬取高质量文本内容&#xff0c;我们使用迭代&#xff0c;从大约700个链接中进行网络爬取。如果想直接跳转到代码部分&#xff0c;可以在下…
阅读更多...
Java版本+鸿鹄企业电子招投标系统源代码+支持二开+Spring cloud +鸿鹄电子招投标系统

Java版本+鸿鹄企业电子招投标系统源代码+支持二开+Spring cloud +鸿鹄电子招投标系统

项目说明 随着公司的快速发展&#xff0c;企业人员和经营规模不断壮大&#xff0c;公司对内部招采管理的提升提出了更高的要求。在企业里建立一个公平、公开、公正的采购环境&#xff0c;最大限度控制采购成本至关重要。为了符合国家电子招投标法律法规及相关规范&#xff0c;…
阅读更多...
2697. 字典序最小回文串（2023-12-13）

2697. 字典序最小回文串（2023-12-13）

力扣每日一题 题目&#xff1a;2697. 字典序最小回文串 日期&#xff1a;2023-12-13 用时&#xff1a;4 m 53 s 时间&#xff1a;7ms 内存&#xff1a;43.61MB 代码&#xff1a; class Solution {public String makeSmallestPalindrome(String s) {char[] chs s.toCharArray…
阅读更多...
基于SpringBoot的在线考试系统

基于SpringBoot的在线考试系统

基于SpringBoot的在线考试系统 文章目录 基于SpringBoot的在线考试系统 一.引言二.系统设计三.技术架构四.系统功能模块设计五.功能实现六.源码获取 一.引言 在线考试系统是一种基于互联网技术的教育辅助工具&#xff0c;它通过利用SpringBoot框架的优势&#xff0c;实现了高效…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023