学习笔记-李沐动手学深度学习（七）（19-21，卷积层、填充padding、步幅stride、多输入多输出通道）

总结

19-卷积层

【补充】看评论区建议的卷积动画视频

数学中的卷积

【链接】https://www.bilibili.com/video/BV1VV411478E/?from=search&seid=1725700777641154181&vd_source=e81e116c4ffe5e79d4bc44738263eda4

【可判断是否为卷积的典型标志】两个函数中自变量相加是否可以消掉，如下面的τ + x-τ = x

问在某一时刻这个人的肚子中还有多少食物没消化：
f(t)：进食的时间与进食的多少
g(t)：某个吃进去的食物 剩余的比例
在这里插入图片描述
当不考虑用户消化食物时，下午两点时用户所剩食物就是f(t)的积分

推广到一般情况：
在这里插入图片描述

在这里插入图片描述

f(t)和g(t)中点的对应关系：
在这里插入图片描述
为什么叫卷积： g函数被翻转了一下

翻转后：

卷积神经网络

在这里插入图片描述

【举例】卷积处理图片后的效果

【卷积共有三层含义】
在这里插入图片描述

卷积核：过滤器，选择不同的卷积核可以提到不同的局部特征
【卷积核参数设置】
不想考虑某个位置时，卷积核某位置设为0；想重点考虑某位置时，将卷积核某位置数值设置比较高

1.求均值的卷积核
在这里插入图片描述

【符号】
*即卷积
Σ连加：因为考虑的是像素点，是离散的，因此不用积分用 Σ累加
g函数相当于规定了周围像素点如何对当前像素点产生的影响
在这里插入图片描述
下图看到，对应关系还是有点拧着的

g函数旋转180°后才是卷积核

在这里插入图片描述
卷积核可以扣在图像上进行对应相乘并最后相加（其实省略了旋转这个步骤，但本质上仍然是卷积运算）

在这里插入图片描述

【局部性】看全局时，两个图片像素点不同，但是分别看局部，特征是一样的
在这里插入图片描述

当只看局部时
在这里插入图片描述

【不同的卷积核提取后的效果】
在这里插入图片描述

卷积（操作子）（从全连接到卷积）

下图说明了为什么卷积层是特殊的全连接层：
首先将原全连接层的权重w改写为四维的（即含二维输入和二维输出）i、j、a、b，
1.【平移不变性】然后对v进行一下重新索引（为保证其平移不变性）丢掉i、j维度（即在其他不关注的维度都是一样的东西）后为v_a,b；
2.【局部性】然后限制a、b在负derta~derta的范围内（即只关注某个位置i、j像素点附近的东西）
在这里插入图片描述

【引言】MLP处理图片分类任务存在的问题

如一个12M（即1200万）的彩色图片有RGB三通道，则共 36M像素（每个像素点有一个值），用单隐藏层训练，在模型共有36亿个元素，远远多余所有的猫狗的数量，这样还不如直接记住所有种类

在这里插入图片描述

在图片中找物体的两个原则

【两个原则】
1.平移不变性：图片识别分类器在识别物体时不会因为该物体像素在图片中出现位置的不同而改变识别结果（待识别物体出现在图片中任何位置时，应该都能准确识别才行）

2.局部性：只需要看局部信息即可，不需要看全部信息

这两个原则也启发了后续的设计

下面从全连接层出发，应用卷积（即特殊的全连接层）

重新考察全连接层

【此处用矩阵的原因】之前用全连接层时，就将二维矩阵转换成了一维向量，但此时要考察一些空间信息，因此需要用矩阵来计算。

【为何reshape为4D tensor】输入和输出都变成了二维的，权重表示使用下标，要显示输入输出的高宽，所以权重就是四维的

参数解释：（搜一下卷积的动图，原来全连接层是一个权重，现在是一个矩阵的权重）
h_i,j：输出（之前学习的全连接层时是 h_i）
w_i,j,k,l：权重（之前是二维，现在是四维）（之前得输入层和隐藏层是向量，所以w下标为两个。现在输入层和隐藏层变成矩阵，所以w下标是四个。）
x_k,l：输入（之前学习的全连接层时是 x_i）
（弹幕）Wijkl里面的kl是对应X的kl也就是输入的矩阵的元素，ij代表卷积核里面和kl相乘的那个值，因为卷积核的值不会变但是会滑动所以sigma下标是kl，实际就是滑动卷积的意思

【w下标的变换得到v】然后对w进行重新索引（即重新排列），得到v，因此也会使得x的下标有点变化
在这里插入图片描述

在这里插入图片描述

平移不变性

【从图像卷积角度理解，用卷积核去扫input图像时，卷积核的内容是不变的】
【i、j是位置，i+a、j+b是以ij位置为参照点进行平移后得到的位置】

至此存在的问题：输入x的平移会导致v的平移（如 x 的i、j分别平移为i+a、j+b，则识别图像的权重 v也会随之变化），但我们的目标是 x的变化不应该引起v的变化

【权重就是特征提取器，不应该随位置而发生变化】i、j应该是图片中不同的位置索引，将v改为v_a,b后（即丢掉v的i、j两个维度），就不依赖于输入x的位置i、j了

虽然下图红框是二维卷积，但是严格在数学上来说是二维交叉相关
在这里插入图片描述

局部性

【从图像卷积角度理解，用卷积核去扫input图像时，每次只关注input图像中卷积核扫描的那一部分，而不是每次关注全部input图像】
理论上，以i、j为中心，可以平移到任意位置，但实际上我们不应该看离i、j太远的位置（即令太远的v_a,b=0，即不关注了），应该只看其附近的点
即：关注的位置即 i、j变化的位置i+a、j+b 只关注 a和b在 [-derta，+derta]的范围内（即下图橙框）
在这里插入图片描述

【局部性-补充】评论区推荐视频的通俗理解：
看全局时，两个图片像素点不同，但是分别看局部，特征是一样的
在这里插入图片描述

当只看局部时
在这里插入图片描述

卷积层

核矩阵（即卷积核）W和偏移b都是可以学习的参数
核矩阵（卷积核）的大小是超参数，其控制局部性
在这里插入图片描述

概述

在这里插入图片描述

二维卷积

全程中核是不变的（即平移不变形）
在这里插入图片描述

【二维卷积层】
用卷积核去扫描时，丢掉的内容就是 (kh - 1) x （kw - 1）
下图中五角星即为上节定义的二维交叉相关操作子；
W和b都是可以学习的参数
在这里插入图片描述

【举例】
弹幕说：卷积核肯定是自己学，因为卷积核中每个元素都代表一个weight
在这里插入图片描述

交叉相关

交叉相关和卷积没有太多区别，唯一的区别是w角标中的a、b和-a、-b
（弹幕说：是不是说卷积时他的核需要逆时针旋转180°，相关不需要。
实际运算时反正参数推出来了，效果也达到了，所以我们就不去深究里面翻转前后代表的意义了）

实际应用中虽然说使用的是卷积操作，但是实际上用的是交叉相关（因为严格来说卷积要按照下图中这么写，即 w角标为-a、-b，但我们从使用者的角度并不严格）
在这里插入图片描述

一维和三维交叉相关

主要关注的还是二维图像

在这里插入图片描述

代码

互相关运算

在这里插入图片描述

# 互相关运算
import torch
from torch import nn
from d2l import torch as d2ldef corr2d(X, K):   # X 为输入，K为核矩阵"""计算二维互相关信息"""h, w = K.shape  # 核矩阵的行数和列数Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1)) # 初始化输出Y的形状。X.shape[0]为输入高    for i in range(Y.shape[0]):for j in range(Y.shape[1]):Y[i, j] = (X[i:i + h, j:j + w] * K).sum() # 图片的小方块区域与卷积核做点积return Y# 验证上述二维互相关运算的输出
X = torch.tensor([[0.0,1.0,2.0],[3.0,4.0,5.0],[6.0,7.0,8.0]])
K = torch.tensor([[0.0,1.0],[2.0,3.0]])
corr2d(X,K)

二维卷积层

互相关运算，就是类似于点积，对应位置（卷积核覆盖的区域）元素相乘再相加，
在这里插入图片描述

【应用】检测图像颜色边缘

对于某一个图像，如果某个像素与其相邻像素相同，则与 [1,-1]核运算后为0，则不是边缘；如果某处是边缘（即由0变为1或1变为0），则与[1,-1]核运算后不为0（要么是1，要么是-1）

在这里插入图片描述

# 实现二维卷积层
class Conv2D(nn.Module):def __init__(self, kernel_size):self.weight = nn.Parameter(torch.rand(kernel_size))  # 开始时随机初始化权重self.bias = nn.Parameter(torch.zeros(1))def forward(Self, x):return corr2d(x, self.weight) + self.bias# 卷积层的一个简单应用：检测图片中不同颜色的边缘
X = torch.ones((6,8))
X[:,2:6] = 0  # 把中间四列设置为0
print(X)  # 0 与 1 之间进行过渡，表示边缘K = torch.tensor([[1.0,-1.0]])  # 如果左右原值相等，那么这两原值乘1和-1相加为0，则不是边缘
Y = corr2d(X, K)
print(Y)
print(corr2d(X.t(), K)) # X.t() 为X的转置，而K卷积核只能检测垂直边缘

在这里插入图片描述

给定输入X和输出Y，学习得到卷积核K

在这里插入图片描述

# 学习由X生成Y的卷积核（此处以检测垂直边缘为例）（最简单的简化版）
# 第一个参数1：输入通道为1,；第二个参数1：输出通道为1；要学习的核是  1x2的
# 单个矩阵，输入通道为1，黑白图片通道为1，彩色图片通道为3。这里输入通道为1，输出通道为1.   
conv2d = nn.Conv2d(1, 1, kernel_size=(1,2), bias=False) 
# 1，1,6,8：batch_size、channel、height、width
X = X.reshape((1,1,6,8)) # 通道维：通道数channel，RGB图3通道，灰度图1通道。批量维就是样本维，就是样本数batch_size
Y = Y.reshape((1,1,6,7))  # 输出的shape（因为 核是1x2的，所以最后会少一列即  6x8变成了6x7）
for i in range(10):Y_hat = conv2d(X)l = (Y_hat - Y) ** 2conv2d.zero_grad()l.sum().backward()conv2d.weight.data[:] -= 3e-2 * conv2d.weight.grad # 3e-2是学习率。沐神裸写的梯度下降if(i+1) % 2 == 0:print(f'batch {i+1},loss {l.sum():.3f}')# 所学的卷积核的权重张量
print(conv2d.weight.data.reshape((1,2)))

在这里插入图片描述

QA

在这里插入图片描述

17.没区别。
100个神经元的单隐藏层MLP 即有一个输出维度为100的全连接层

只是为了说明为什么卷积是特殊的全连接层

19.图片输入时就是一个二维的（就是个矩阵）
之前使用softmax回归时，把图片reshape成了一个一维向量

20.没听过

21.感受野即kernel的大小

这个问题类似于之前全连接层提到过的一个很浅的很宽的全连接层的效果没有一个深一点且窄一点的全连接层效果好
同理对于卷积层，使用层数少且每层核大的效果不如层数多且每层的核小一点的效果好

一般用3x3或5x5

这个就是inception的设计思路

在这里插入图片描述

23.信号与处理中就是那么定义的，深度学习只是拿来用用，并没纠结细节

24.不管在图片的哪个位置，核是不变的

25.只是为了讲课定义的

26.数字信号处理中可以看看

在这里插入图片描述

27.抖动厉害的原因：（抖动没事，只要呈下降趋势即可，但是一直抖不下降是有问题的）
（1）数据多样性很大，每次随机采样的数据区别很大，这样是没事的（可以做平滑，好看一点）
（2）学习率很大。可以降低学习率lr （或者batch_size大一点）

不是这个意思。

全连接层最大的问题是权重矩阵W的高（好像就是矩阵的行数）取决于输入的宽。那么此时当给定的输入是 1200万像素的图片，那么输入维度就是1200万，那么权重矩阵参数量太大就炸掉了。
而卷积不存在这种问题，因为卷积核大小是固定的，无论输入的大小是多大（而且实际上也不会直接丢进去一个 1200万像素的输入）

弹幕说：mlp放不下的原因是因为权重参数的矩阵过大

20-卷积层中的填充和步幅

填充和步幅

卷积核大小kernel_size、填充padding、步幅stride都是超参数

在这里插入图片描述
博客：
① 奇数卷积核更容易做padding。我们假设卷积核大小为k * k，为了让卷积后的图像大小与原图一样大，根据公式可得到padding=（k-1）/2，这里的k只有在取奇数的时候，padding才能是整数，否则padding不好进行图片填充。

② k为偶数时，p为浮点数，所做的操作为一个为向上取整，填充，一个为向下取整，填充。

填充padding

【总结】通常情况下，padding的高宽是对称的，且取为核大小-1，即ph=kh-1、pw=kw-1（这个是指课件理论中的含上下或左右的某个方向一共填充的大小，如果在代码中要写为 padding=ph/2）。从而使得输出形状=输入形状
【注意ph、pw与代码中的padding】此处填充ph和pw是指从高度方向、宽度方向共填充了多少，如 ph=2 上下共填充了2行，相当于代码中的padding=1。即对于卷积核大小为3x3的、padding=1（代码中写padding=1，课件理论中ph、pw=2，二者是二倍的关系）进行卷积操作后，输入和输出形状相同；对于 5x5的卷积核大小、padding=2（代码中写padding=2，课件理论中ph、pw=4），输入和输出形状相同

nh和nw为输入数据的高、宽

【引言-填充】当不使用padding时，经过多层卷积后形状会变得很小

下图中：每一层都会减4，第七层大小就变成4X4了
在这里插入图片描述
【正文-填充】

在这里插入图片描述

【有填充时的输出形状计算】
【注意ph、pw与代码中的padding】此处填充ph和pw是指从高度方向、宽度方向共填充了多少，如 ph=2 上下共填充了2行，相当于代码中的padding=1。即对于卷积核大小为3x3的、padding=1 进行卷积操作后，输入和输出形状相同；对于 5x5的卷积核大小、padding=2，输入和输出形状相同

p为padding，当按下图中通常方式取ph和pw（即ph=kh-1、pw=kw-1）时，无论核的大小如何，输出和输入的形状相同
一般来说很少用核长宽为偶数的卷积核
下图中的类似[ ] 的是向上、下取整
在这里插入图片描述

步幅stride

【引言-步幅】
在这里插入图片描述

【正文-步幅】每次移动核时，可以一次向右和向下移动几格
下图中第一个图的两个蓝色区域是分别从起点（即左上角）向右移动一次（2步幅）、向下移动一次（3步幅）。
当继续移动剩余区域不够时，就不移动了
在这里插入图片描述
【有步幅时的输出形状计算】
根据公式，如果 stride=2，那么输出尺寸的高宽相当于减半

类似中括号的是 floor向下取整

代码

【通常情况下都是对称的】输入的数据形状是高宽相同的，padding是对称的，stride也是对称的

【注意ph、pw与代码中的padding】此处填充ph和pw是指从高度方向、宽度方向共填充了多少，如 ph=2 上下共填充了2行，相当于代码中的padding=1。即对于卷积核大小为3x3的、padding=1 进行卷积操作后，输入和输出形状相同

# 在所有侧边填充1个像素
import torch
from torch import nndef comp_conv2d(conv2d, X): # conv2d 作为传参传进去，在内部使用# 在维度前面加入一个批量大小数batch_size和通道数channel（因为暂时没考虑批量大小数和通道数）X = X.reshape((1,1)+X.shape) Y = conv2d(X)  # 卷积处理是一个四维的矩阵return Y.reshape(Y.shape[2:]) # 将前面两个维度拿掉# 【填充】在所有侧边分别填充1个像素
conv2d = nn.Conv2d(1,1,kernel_size=3,padding=1) # padding=1 为左右都填充一行，相当于之前讲的ph、pw=2
X = torch.rand(size=(8,8))
print(comp_conv2d(conv2d,X).shape)  # torch.Size([8, 8])  即没改变输入的形状
# 【填充】填充不同的高度和宽度（核的形状为5x3, 填充时上下分别填充2行、左右分别填充1列）
conv2d = nn.Conv2d(1,1,kernel_size=(5,3),padding=(2,1))
print(comp_conv2d(conv2d,X).shape)  # torch.Size([8, 8])  即没改变输入的形状# 【填充+步幅】将高度和宽度的步幅设置为2
conv2d = nn.Conv2d(1,1,kernel_size=3,padding=1,stride=2)
print(comp_conv2d(conv2d,X).shape)   # torch.Size([4, 4])。
# 因为步幅sh、sw为2，可以被输入的高、宽整除，因此输出为(nh/sh） x （nw/sw)# 【填充+步幅】一个稍微复杂的例子
conv2d = nn.Conv2d(1,1,kernel_size=(3,5),padding=(0,1),stride=(3,4))
print(comp_conv2d(conv2d,X).shape)  # torch.Size([2, 2])  。 套公式计算

在这里插入图片描述

QA

在这里插入图片描述

ppt错了，55层

重要程度：核大小> 填充通常取默认的、步幅取值取决于你要把你的模型大小控制在什么程度
卷积核大小kernel_size：
填充padding：通常ph和pw取值为卷积核大小-1 ，从而实现卷积核不改变输入形状大小（注意如果是代码中 padding=1 相当于课件中的ph、pw=2）
步幅stride：通常padding=1（因为如果每层都减半，经过几个卷积层后图片就很小几乎没了这样就做不了深的神经网络了，因此减半是个别情况）。不为1时是因为计算量太大了，此时通常步幅取2。步幅越大，计算量越小；步幅越小，模型所需层数就很大（因为一般是想将一个很大的输入图片变成一个很小的）

3.是的。因为padding（课件理论中）=kernel-1，而padding是分在图片上下的，kernel为基数，padding就可以对半分。
注意课件理论中的 ph、pw 除以2才为代码中的 padding

当然，也可以取偶数

4.看第二个问题
减半是很少的情况，大多数情况是不变的

padding、stride、通道数，这些是神经网络架构设计的一部分，当用不同的神经网络时一般都会告诉你这些参数如何设定

在这里插入图片描述

6.一般来说很少会自己纯手写神经网络，如用ResNet（kaiming大神的残差神经网络）就够了，其也分很多系列。除非你的输入是非常不一样的情况，如是20x1000，很扁的这种，可能需要自己设计神经网络，否则一般用经典的即可或在经典的基础上做调整。

即便自己设计神经网络，也是参照经典神经网络的基础上

7.回看代码

8.回看代码

9.不存在这种情况

在这里插入图片描述

虽然单独看3x3很小，但是如果神经网络很深时，较深的层中的每个元素能看到足够大的图片信息

高层会看到低层所看到信息总和
对于后面比较深的卷积层中的 1x1、3x3这种，其实每个元素对应的是较浅层中很大的图片范围的，看到的信息并不小
在这里插入图片描述

11.NAS（Neural Network Architecture Search），也是自动机器学习的一部分
弹幕说：autodl和automl，计算成本太高，不是一般人研究的起的

（1）方式一：设计很多神经网络结构，从中选择效果最好的

12.从信息论的角度来说，特征信息肯定会丢失的
ML本质是一个极端的压缩算法：给你一个图片，最后得到一个类别、有语义信息的数值。即把比较原始的计算机能理解的像素信息、文字字符串的信息压缩到人能理解的语义空间中

在这里插入图片描述

13.有，但是成本极大（沐神的一个实验跑了100w美金）

14.同13

15.是可以人为控制的

16.从理论上来说，大概是：三个3x3卷积核的效果是可以用2个5x5卷积核来替代的；10层3x3卷积的效果可以等效成5或6层的5x5的卷积，
但是，3x3卷积更快，（涉及计算复杂度、成本方面的问题、更“贵”）

在这里插入图片描述

17.可以这样用。但是一般来说，简单高效易懂的更容易被人记住，即类似都用比较简单的核。
太复杂的可以不容易被人理解

18.后面会讲，不同的卷积层可以看不同的纹理特征

DL不是有钱人的游戏。
如果不用DL：
1、用人，机器成本可能会低点，可能效果差，就需要更多的调参，即人力成本。
2、其次数据成本很大，数据很贵

DL使用GPU的算力来替代人力成本和数据成本，虽然计算算力变高。
NAS现在是有钱人的游戏，但是任何科技都是从很贵到很便宜的过程（如当年的磁盘计算机也很贵）

21-卷积层里的多输入和多输出

输出通道是当前卷积层的超参数，输入通道是上一个卷积层的超参数（即上一个卷积层的输出通道）

在这里插入图片描述

多输入输出通道

引言

之前Fashion mnist是单通道（只有一个灰）

在这里插入图片描述

正文-多个输入通道

【多个输入通道】
如下图，通道0的数据和通道0的卷积核做点积运算，同理通道1，最后将两个通道的结果相加
在这里插入图片描述

现在假定输入数据X是三维的tensor，即三个通道，则卷积核也变成了三维的（与输入数据维度相同）；每个通道都有一个偏移（即长为c_i的向量），此处只是没写
i：input
输出是单通道的，因为不管输入有多少个通道，都是最后按通道相加
在这里插入图片描述

正文-多个输出通道

【多个输出通道】多个输入通道和多个输出通道其实是没有相关性的，可以分别设置
【个人理解，暂时没问题】输出通道数=卷积核个数，即下图中co

对于每个输出的通道，都有一个自己的三维卷积核，
c_o：output channel

弹幕说：这里等于就是利用多个卷积核，分别对输入进行上一页PPT的卷积操作，最后将结果分通道叠在一起。ci个通道，每个通道co种卷积核，共有ci*co种卷积核。

老师说：对每一个输入（下图中第一个红框），把它对应的一个输出通道的核拿出来（第二个红框），就会得到一个对应的输出通道（第三个红框），对每一个输出通道一一这样运算，最后将结果concat起来，得到输出Y

Y_i,:,:输出里面的第i个通道
在这里插入图片描述
【多个输入和多个输出通道的意义】
多输出通道：每个输出通道可以取识别一种模式（如不同的卷积核可以提取不同角度的特征，如边缘、锐化、颜色、纹理等），通过学习不同的卷积核权重来匹配不同的模式，如下图中有6个输出通道

多输入通道：假设将上一层得到的六个输出通道的结果丢给下一层，将每个通道的到的结果组合起来（如加权相加），得到组合的模式识别。这是对于相邻的两层，从整体的深度网络来看，浅层、下面的层识别具体细节特征如边缘特征、纹理等，
深层次的层可以将之前浅层得到的分别的特征（模式）进行组合（如将胡须、眼睛等组合起来得到一个猫头，最深层、最高层可能得到一整只猫）
在这里插入图片描述

1x1卷积层

【1x1卷积层可以认为是卷积层，也可以等价认为是一个全连接层】
【作用】不识别空间模式，只是融合通道（对每个像素所对应的通道的向量做一个全连接层，然后该全连接层对每个像素分别作用一遍）（Conv 1×1 一般只改变输出通道数，而不改变输出的宽度和高度；而Pooling 操作一般只改变输出的宽和高，而不改变通道数）
卷积核的高宽均为1，每次只看一个像素（即不看周围空间的特征，即其不识别空间信息，不看当前这个像素与周围其他像素的关系）
本质上等价于一个形状为n_hn_w x c_i、权重为c_o x c_i x 1 x 1的全连接层

输出为0的通道，输出为1的通道

弹幕说：
1.其实就是对input里的3个矩阵做全连接，这里是做了两次不同权重的全连接
2. 3个输入通道经过一个核得到一个输出通道，这里有两个核，所以得到两个输出通道
3. 对的，这里理解为两组核或者两套核比较好一些，一组核包括三个核
在这里插入图片描述

最通用情况下的二维卷积层

【偏差B的理解（弹幕说）】
每一个卷积核都对应一个单独的偏差
pytorch的官方文档，bias是和卷积核个数相同
其实就是Co组核，每组核有Ci个偏差
这里+B是用了广播机制（不确定）

【计算复杂度的理解】
可以这么理解，输出层共有CoMhMw个元素，每个元素都是size大小为CiKhKw的卷积核计算得到的
在这里插入图片描述

代码

多输入通道互相关计算

【zip的作用】
弹幕：
zip(X, K)函数可以将X和K的每个通道配对，返回一个可迭代对象，其中每个元素是一个(x, k)的元组，表示一个输入通道和一个卷积核。
zip函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。

在这里插入图片描述

多输出通道的互相关计算

torch.stack():沿着一个新维度对输入张量序列进行连接，序列中所有的张量都应该为相同形状
下图中即在dim=0这个维度上进行堆叠

三个卷积核，每个卷积核有两个通道，每个通道是2*2的矩阵
在这里插入图片描述

# 多输入通道互相关运算
import torch
from d2l import torch as d2l
from torch import nn# 多通道输入时的互相关运算
def corr2d_multi_in(X,K):  # 此处假设X和K都是3D的return sum(d2l.corr2d(x,k) for x,k in zip(X,K)) # X,K为3通道矩阵，for使得对最外面通道进行遍历
# zip(X, K)函数可以将X和K的每个通道配对，返回一个可迭代对象，其中每个元素是一个(x, k)的元组，表示一个输入通道和一个卷积核。X = torch.tensor([[[0.0,1.0,2.0],[3.0,4.0,5.0],[6.0,7.0,8.0]],[[1.0,2.0,3.0],[4.0,5.0,6.0],[7.0,8.0,9.0]]])
K = torch.tensor([[[0.0,1.0],[2.0,3.0]],[[1.0,2.0],[3.0,4.0]]])
print(corr2d_multi_in(X,K))# 多输出通道运算
def corr2d_multi_in_out(X,K):  # X为3通道矩阵；K为4通道矩阵，最外面维为输出通道      # 弹幕说：就是从4D的K中拿出一个3D的k进行上一步操作# 大K中每个小k是一个3D的Tensor。0表示stack堆叠函数里面在0这个维度堆叠。           return torch.stack([corr2d_multi_in(X,k) for k in K],0) print(K.shape)
print((K+1).shape)
print((K+2).shape)
print("K:",K)
print(K+1)
K = torch.stack((K, K+1, K+2),0) # 原来的K是3D的，现在使用stack创建一个 三输出通道的新K
print(K.shape)   # torch.Size([3, 2, 2, 2])  : 输出通道为3，输入通道为2，h、w分别为2
print("新的K:",K)
print(corr2d_multi_in_out(X,K))

在这里插入图片描述

1x1卷积

验证一下 1x1的卷积等价于一个全连接
在这里插入图片描述

# 【定义一个用全连接实现 1x1的 多输入多输出通道 的互相关操作】1×1卷积的多输入、多输出通道运算
def corr2d_multi_in_out_1x1(X,K):c_i, h, w = X.shape # 输入的通道数、宽、高c_o = K.shape[0]    # 输出的通道数X = X.reshape((c_i, h * w)) # 拉平操作（把高宽拉成一个向量），每一行表示一个通道的特征。此时X是一个矩阵K = K.reshape((c_o,c_i))  #  原K完整是  co x ci x 1 x 1，去掉1x1后 ，K也是一个矩阵Y = torch.matmul(K,X) return Y.reshape((c_o, h, w))X = torch.normal(0,1,(3,3,3))   # norm函数生成0到1之间的(3,3,3)矩阵 
K = torch.normal(0,1,(2,3,1,1)) # 输出通道是2，输入通道是3，核是1X1Y1 = corr2d_multi_in_out_1x1(X,K)
Y2 = corr2d_multi_in_out(X,K)
assert float(torch.abs(Y1-Y2).sum()) < 1e-6
print(float(torch.abs(Y1-Y2).sum()))