DIVE INTO DEEP LEARNING 36-49

文章目录

  • 36. Data augmentation
    • 36.1 Training with enhanced data
    • 36.2 Enhancement measures
    • 36.3 Data augmentation summary
  • 37. Fine tuning
    • 37.1 Fine tuning Introduce
    • 37.2 Fine tuning Step
    • 37.3 Fine tuning summary
  • 38. Object detection
    • 38.1 Object detection
    • 38.2 Edge box implementation
  • 39. Object detection algorithm
    • 39.1 Regional Convolutional Neural Network
      • 39.1.1 R-CNN
      • 39.1.2 Fast RCNN
      • 39.1.3 Faster RCNN
      • 39.1.4 Mask RCNN
      • 39.1.5 summary
    • 39.2. SSD single shot detection
    • 39.3 YOLO(you only look once)
  • 40. Neural style
    • 40.1 Basic concepts
    • 40.2 Working principle
    • 40.3 Loss function
    • 40.4 Advantages and disadvantages
    • 40.5 Application scenarios
    • 40.6 Implementation method
  • 41. Kaggle cifar10 achieve
  • 42. Encounter problems and solutions
    • 42.1 kernel problem
    • 42.2 Path problem
    • 42.3 wandb problem

36. Data augmentation

  • 数据增广是深度学习中一项重要的技术,主要用于增加训练数据集的数量和多样性,从而提高模型的泛化能力和鲁棒性。
  • 数据增广不仅用于处理图片,也可用于文本和语音

基本概念: 数据增广是指通过对原始数据集进行一系列的变换来增加数据集数量,这些变换可以是几何变换(如旋转、缩放、裁剪等)、颜色变换(如改变亮度、对比度等)或添加噪声等方式。通过数据增广,可以生成新的训练数据,使模型更好地适应各种变化,提高模型的性能。

  1. 随机裁剪:随机裁剪是一种常用的数据增广技术,它可以从原始图像中随机裁剪出一部分作为新的训练样本。这种技术可以增加图像的多样性,使模型更好地感知图像的不同部分。
  2. 旋转:通过对原始图像进行旋转操作,可以生成具有不同方向的训练样本。这有助于模型学习不同方向的特征,提高模型的泛化能力。
  3. 缩放:缩放操作可以改变图像的大小,生成具有不同尺寸的训练样本。这有助于模型学习不同尺度的特征,提高模型对目标大小的适应性。
  4. 颜色变换:通过改变图像的亮度、对比度、饱和度等颜色属性,可以增加图像的多样性。这种技术有助于模型学习颜色不变性特征,提高模型的鲁棒性。
  5. 增加噪声:在图像中添加噪声可以模拟真实场景中的噪声干扰,使模型更具抗噪性。常见的噪声类型包括高斯噪声、椒盐噪声等。
  6. 图像扭曲:通过改变图像的形状,如拉伸或挤压,可以增加数据集的多样性。这种技术有助于模型学习不同形状的物体特征,提高模型的泛化能力。

36.1 Training with enhanced data

  • 采集数据得到的训练场景与实际部署场景不同是常见的问题,这种变化有时会显著影响模型表现。在训练集中尽可能模拟部署时可能遇到的场景对模型的泛化性十分重要。

  • 数据增强是指在一个已有数据集上操作使其有更多的多样性。对语音来说可以加入不同的背景噪音,对图片而言可以改变其颜色,形状等。

一般来说不会先将数据集做增广后存下来再用于训练;而是直接在线生成,从原始数据中读图片并随机做数据增强,再进入模型训练。通常只在训练时做数据增强而测试时不用。可以将数据增强理解为一个正则项。

36.2 Enhancement measures

翻转

左右翻转,上下翻转

  • 要注意不是所有增强策略都总是可行,如建筑图片上下翻转就不太合适,而之前的树叶分类竞赛中的树叶图片就没关系。

在这里插入图片描述

切割

  • 从图片中切割一块然后变形到固定形状。一般做法是随机取一个高宽比,随机取图片大小(切下部分占原图的百分数),随机取位置。

在这里插入图片描述

颜色

  • 改变色调,饱和度,明亮度。
    在这里插入图片描述

其他

  • 还可以有很多种不同的方法,如高斯模糊,部分像素变黑,图片变形,锐化等等。理论上讲Photoshop能做到的都可以用作图片数据增强,但效果好坏另当别论。如果测试集中有类似的效果那么相应的数据增广手段会更有效。

36.3 Data augmentation summary

  • 数据增广通过变形数据来获取多样性从而使得模型泛化性能更好
  • 常见图片增广包括翻转,切割,变色

37. Fine tuning

37.1 Fine tuning Introduce

问题引入:很多时候,例如我们想对家具进行分类,但是往往在努力收集数据得到的数据集也比较小假如我们想识别图片中不同类型的椅子,然后向用户推荐购买链接。

  • 一种可能的方法是首先识别100把普通椅子,为每把椅子拍摄1000张不同角度的图像,然后在收集的图像数据集上训练一个分类模型。 尽管这个椅子数据集可能大于Fashion-MNIST数据集,但实例数量仍然不到ImageNet中的十分之一。

  • 适合ImageNet的复杂模型可能会在这个椅子数据集上过拟合。 此外,由于训练样本数量有限,训练模型的准确性可能无法满足实际要求。为了避免这种情况,我们可以有两种方法:

  • 显然的想法就是收集更多的数据,但是,收集和标记数据可能需要大量的时间和金钱。 例如,为了收集ImageNet数据集,研究人员花费了数百万美元的研究资金。 尽管目前的数据收集成本已大幅降低,但这一成本仍不能忽视。

  • 我们可以考虑迁移学习将从源数据集学到的知识迁移到目标数据集。 例如,尽管ImageNet数据集中的大多数图像与椅子无关,但在此数据集上训练的模型可能会提取更通用的图像特征,这有助于识别边缘、纹理、形状和对象组合。 这些类似的特征也可能有效地识别椅子。

37.2 Fine tuning Step

  • 如图所示,微调包括以下四个步骤:

在这里插入图片描述

  1. 在源数据集(例如ImageNet数据集)上预训练神经网络模型,即源模型

  2. 创建一个新的神经网络模型,即目标模型。这将复制源模型上的所有模型设计及其参数(输出层除外)。我们假定这些模型参数包含从源数据集中学到的知识,这些知识也将适用于目标数据集。我们还假设源模型的输出层与源数据集的标签密切相关;因此不在目标模型中使用该层。

  3. 向目标模型添加输出层,其输出数是目标数据集中的类别数。然后随机初始化该层的模型参数。

  4. 在目标数据集(如椅子数据集)上训练目标模型。输出层将从头开始进行训练,而所有其他层的参数将根据源模型的参数进行微调。

  5. 通常来讲,微调速度更快,并且具有较强的正则性,一般学习率比较小,也不需要很多轮的数据迭代,对于不同的任务往往只需要改变最后输出层,这一层随机初始化即可。

37.3 Fine tuning summary

  • 迁移学习将从源数据集中学到的知识“迁移”到目标数据集,微调是迁移学习的常见技巧。
  • 除输出层外,目标模型从源模型中复制所有模型设计及其参数,并根据目标数据集对这些参数进行微调。但是,目标模型的输出层需要从头开始训练。
  • 通常,微调参数使用较小的学习率,而从头开始训练输出层可以使用更大的学习率。

38. Object detection

38.1 Object detection

  1. 图片分类和目标检测在任务上的区别:图片分类已知有一个确定目标,任务是识别该目标属于何种分类,而目标检测不仅需要检测出图片中所有感兴趣的目标类别,并确定其位置,所以目标检测要比图片分类更复杂应用场景更广。
  2. 图片分类和目标检测在数据集上的区别:由于目标检测中每一张图片可能存在多个目标,每个目标我们不仅需要分类,还需要确定边缘框以给出目标位置信息,因此目标检测数据集的标注成本要显著高于图片分类,也就导致了目标检测数据集较小。
  3. 边缘框:用一个尽量小矩形框将目标物体大体框起来,边框的位置信息就可以表示目标位置在图片中的位置信息,常见的边缘框有两种表示方法:
  • (左上x,左上y,右下x,右下y)
  • (左上x,左上y,宽,高)
  1. 目标检测数据集的常见表示:每一行表示一个物体,对于每一个物体而言,用“图片文件名,物体类别,边缘框”表示,由于边缘框用4个数值表示,因此对于每一行的那一个物体而言,需要用6个数值表示。
  2. 目标检测领域常用数据集:COCO(80类物体,330K图片,所有图片共标注1.5M物体)

38.2 Edge box implementation

  1. 目标的位置
  • 在图像分类任务中,我们假设图像中只有一个主要物体对象,我们只关注如何识别其类别。 然而,很多时候图像里有多个我们感兴趣的目标,我们不仅想知道它们的类别,还想得到它们在图像中的具体位置。 在计算机视觉里,我们将这类任务称为目标检测(object detection)或*目标识别*(object recognition)。目标检测在多个领域中被广泛使用。 例如,在无人驾驶里,我们需要通过识别拍摄到的视频图像里的车辆、行人、道路和障碍物的位置来规划行进线路。 机器人也常通过该任务来检测感兴趣的目标。安防领域则需要检测异常目标,如歹徒或者炸弹。
  1. 边界框
  • 在目标检测中,我们通常使用边界框(bounding box)来描述对象的空间位置。 边界框是矩形的,由矩形左上角的以及右下角的xy坐标决定。 另一种常用的边界框表示方法是边界框中心的(x,y)轴坐标以及框的宽度和高度。

  • 在这里,我们定义在这两种表示法之间进行转换的函数:box_corner_to_center从两角表示法转换为中心宽度表示法,而box_center_to_corner反之亦然。 输入参数boxes可以是长度为4的张量,也可以是形状为(n,4)的二维张量,其中n是边界框的数量。

#@save
def box_corner_to_center(boxes):"""从(左上,右下)转换到(中间,宽度,高度)"""x1, y1, x2, y2 = boxes[:, 0], boxes[:, 1], boxes[:, 2], boxes[:, 3]cx = (x1 + x2) / 2cy = (y1 + y2) / 2w = x2 - x1h = y2 - y1boxes = torch.stack((cx, cy, w, h), axis=-1)return boxes#@save
def box_center_to_corner(boxes):"""从(中间,宽度,高度)转换到(左上,右下)"""cx, cy, w, h = boxes[:, 0], boxes[:, 1], boxes[:, 2], boxes[:, 3]x1 = cx - 0.5 * wy1 = cy - 0.5 * hx2 = cx + 0.5 * wy2 = cy + 0.5 * hboxes = torch.stack((x1, y1, x2, y2), axis=-1)return boxes
  • 我们将根据坐标信息定义图像中狗和猫的边界框。 图像中坐标的原点是图像的左上角,向右的方向为x轴的正方向,向下的方向为y轴的正方向。
# bbox是边界框的英文缩写
dog_bbox, cat_bbox = [60.0, 45.0, 378.0, 516.0], [400.0, 112.0, 655.0, 493.0]
  • 我们可以将边界框在图中画出,以检查其是否准确。 画之前,我们定义一个辅助函数bbox_to_rect。 它将边界框表示成matplotlib的边界框格式。
#@save
def bbox_to_rect(bbox, color):# 将边界框(左上x,左上y,右下x,右下y)格式转换成matplotlib格式:# ((左上x,左上y),宽,高)return d2l.plt.Rectangle(xy=(bbox[0], bbox[1]), width=bbox[2]-bbox[0], height=bbox[3]-bbox[1],fill=False, edgecolor=color, linewidth=2)
  • 在图像上添加边界框之后,我们可以看到两个物体的主要轮廓基本上在两个框内。
fig = d2l.plt.imshow(img)
fig.axes.add_patch(bbox_to_rect(dog_bbox, 'blue'))
fig.axes.add_patch(bbox_to_rect(cat_bbox, 'red'));

在这里插入图片描述

  1. 小结
  • 目标检测不仅可以识别图像中所有感兴趣的物体,还能识别它们的位置,该位置通常由矩形边界框表示。
  • 我们可以在两种常用的边界框表示(中间,宽度,高度)和(左上,右下)坐标之间进行转换。

39. Object detection algorithm

39.1 Regional Convolutional Neural Network

39.1.1 R-CNN

  • 使用启发式搜索算法来选择锚框
  • 使用预训练模型来对每个锚框抽取特征(每个锚框当作一个图片,用CNN)
  • 训练一个SVM来类别分类(神经网络之前,category prediction)
  • 训练一个线性回归模型来预测边缘框偏移(bounding box prediction)
  • 兴趣区域(Rol)池化层
    • 给定一个锚框,均匀分割(如果没法均匀分割,取整)成 n x m 块,输出每块的最大值(max pooling)
    • 不管锚框多大,总是输出nm个值
    • 目的:每个锚框都可以变成想要的形状
  1. 定义与背景

    • R-CNN是第一个成功将深度学习应用到目标检测上的算法。
    • 在R-CNN之前,目标检测通常基于手工设计的特征和传统的机器学习算法,如SVM和随机森林,这些方法在复杂场景中往往效果有限。
    • R-CNN通过引入深度学习的卷积神经网络(CNN),极大地改进了目标检测的准确性和性能。
  2. 算法流程

    • 候选区域生成:使用Selective Search等方法从一张图像中生成约2000个候选区域(候选框)。
    • 特征提取:对每个候选区域,使用深度网络(如AlexNet)提取固定长度的特征向量。
    • 分类:将提取的特征向量送入一个独立的SVM分类器,以判断该区域是否包含目标,并预测所属类别。
    • 位置修正:为了提升定位准确性,R-CNN还训练了一个边界框回归模型,对候选框的位置进行精细修正。
  3. 创新与特点

    • 引入深度学习:R-CNN首次将深度学习引入目标检测领域,显著提升了检测性能。
    • 候选区域机制:通过生成候选区域,避免了对整个图像进行密集的滑动窗口搜索,提高了算法效率。
    • 特征学习能力强:利用CNN提取的特征具有更强的判别性,有助于准确检测目标。
  4. 后续发展

    • 自R-CNN之后,研究人员提出了一系列基于R-CNN的改进算法,如Fast R-CNN、Faster R-CNN和Mask R-CNN等,这些算法在保持高精度的同时,进一步提升了检测速度和应用范围。

39.1.2 Fast RCNN

  • RCNN需要对每个锚框进行CNN运算,这些特征抽取计算有重复,并且锚框数量大,特征抽取的计算量也大。Fast RCNN改进了这种计算量大的问题

  • 使用CNN对整张图片抽取特征(快的关键)

  • 使用Rol池化层对每个锚框(将在原图片中搜索到的锚框,映射到CNN得到的结果上),生成固定长度的特征

Fast R-CNN是目标检测领域的一个重要模型,它在R-CNN的基础上进行了改进,显著提高了检测速度和效率

一、定义与背景

  • Fast R-CNN是Ross Girshick在R-CNN之后提出的另一种目标检测模型。与R-CNN相比,Fast R-CNN的主要优势在于其更高的检测速度和更高效的训练过程。它通过使用深度卷积网络(如VGG16)一次性处理整张图像来提取特征,而不是像R-CNN那样对每个候选区域分别进行特征提取,从而大大减少了计算量。

二、算法流程

Fast R-CNN的算法流程主要包括以下几个步骤:

  1. 候选区域生成:使用Selective Search等方法从输入图像中生成多个候选区域(也称为感兴趣区域,ROI)。
  2. 特征提取:通过一个深度卷积网络(如VGG16)对整张输入图像进行特征提取,生成特征图。然后,将每个候选区域映射到特征图上,得到对应的特征向量。
  3. RoI Pooling:由于不同候选区域的大小和形状可能不同,因此需要对它们进行尺寸归一化,以便输入到后续的全连接层中。Fast R-CNN采用了RoI Pooling层来实现这一目的。具体地,它将每个候选区域的特征图划分为固定数量的子区域(如7x7),并对每个子区域进行最大池化操作,从而得到一个固定长度的特征向量。
  4. 分类与回归:将RoI Pooling层输出的特征向量输入到两个并行的全连接层中,一个用于分类(预测候选区域所属的类别),另一个用于边界框回归(预测候选区域的位置偏移量,以更准确地定位目标)。

三、特点与优势

  1. 高效性:Fast R-CNN仅对整张图像进行一次卷积操作,而不是像R-CNN那样对每个候选区域分别进行特征提取,因此大大提高了检测速度。同时,其端到端的训练方式也使得模型更为高效。
  2. 准确性:Fast R-CNN在Pascal VOC数据集上的accuracy从R-CNN的62%提升至66%,表明其在保持高效率的同时,也具有良好的检测准确性。
  3. 灵活性:Fast R-CNN可以使用不同的深度卷积网络作为特征提取器,如VGG16、ResNet等,以适应不同的应用场景和需求。

39.1.3 Faster RCNN

  • 在Fast RCNN基础上变得更快
  • 使用一个 区域提议网络来替代启发式搜索获得更好的锚框
  • 如下图所示,将CNN结果输入到卷积层,然后用锚框去圈区域,这些锚框很多有好有坏,然后进行预测,binary 预测是预测这个锚框的好坏,即有没有有效的圈住物体,bounding box prediction预测是对锚框进行一些改进,最后用NMS(非极大值抑制)对锚框进行合并。
  • 具体来说,区域提议网络的计算步骤如下:
    1. 使用填充为1的3×3的卷积层变换卷积神经网络的输出,并将输出通道数记为c。这样,卷积神经网络为图像抽取的特征图中的每个单元均得到一个长度为c的新特征。
    2. 以特征图的每个像素为中心,生成多个不同大小和宽高比的锚框并标注它们。
    3. 使用锚框中心单元长度为c的特征,分别预测该锚框的二元类别(含目标还是背景)和边界框。
    4. 使用非极大值抑制,从预测类别为目标的预测边界框中移除相似的结果。最终输出的预测边界框即是兴趣区域汇聚层所需的提议区域。

39.1.4 Mask RCNN

  • 如果有像素级别的标号,使用FCN(fully convolutional network)利用这些信息。可以提升CNN的性能
  • Rol align。之前的Rol进行池化的时候,如果没法整除,可以直接取整。但是像素级别的标号预测的时候,会造成偏差的累积,导致边界预测不准确。未来避免这种情况,使用Rol align,也就是当没法整除,对每个像素值进行按比例分配。
  • 具体来说,Mask R-CNN将兴趣区域汇聚层替换为了兴趣区域对齐层,使用双线性插值(bilinear interpolation)来保留特征图上的空间信息,从而更适于像素级预测。 兴趣区域对齐层的输出包含了所有与兴趣区域的形状相同的特征图。 它们不仅被用于预测每个兴趣区域的类别和边界框,还通过额外的全卷积网络预测目标的像素级位置。

39.1.5 summary

  • R-CNN是最早也是最有名的一类基于锚框和CNN的目标检测算法
  • Fast/Faster RCNN 持续提升性能
  • Faster RCNN和Mask RCNN是在要求高精度场景下常用的算法(但是速度是最慢的)

39.2. SSD single shot detection

  • 生成锚框

    • 对每个像素,生成多个以它为中心的锚框
    • 给定 n 个大小 s 1 , . . . , s n s_1,...,s_n s1,...,sn和m个高宽比,生成n+m-1个锚框,其大小和高宽比分别为: ( s 1 , r 1 ) , ( s 2 , r 1 ) . . . , ( s n , r 1 ) , ( s 1 , r 2 ) , . . . , ( s 1 , r m ) (s_1,r_1),(s_2,r_1)...,(s_n,r_1),(s_1,r_2),...,(s_1,r_m) (s1,r1),(s2,r1)...,(sn,r1),(s1,r2),...,(s1,rm)
  • SSD模型

    • 对多个分辨率下的卷积特征,生成锚框,预测
    • 一个基础网络,抽取特征,然后用多个卷积层来减半高宽
    • 在每段都生成锚框
      • 底部段拟合小物体
      • 顶部段拟合大物体
    • 对每个锚框预测类别和边缘框
  • 总结

    • 速度快,精度很低。这么多年,作者没有持续的提升,但是启发了后面的一系列工作,实现上相对比较简单。
    • SSD通过单神经网络来检测模型(single shot)
    • 以像素为中心的产生多个锚框
    • 在多个段的输出上进行多尺度的检测

39.3 YOLO(you only look once)

  • SSD中锚框大量重复,因此浪费了很多计算资源
  • YOLO将图片均分为 S X S 个锚框
  • 每个锚框预测 B 个边缘框(防止多个物体出现在一个锚框里面)
  • 后续版本 v2 v3 v4 有持续改进
  • 非锚框算法

YOLO(You Only Look Once)是一种高效的目标检测算法,它通过一次前向传播即可同时预测多个目标的位置和类别,显著提高了目标检测的速度和效率。

YOLOv1

1. 基本原理

  • YOLOv1将目标检测任务视为一个回归问题,使用单个神经网络在整幅图像上进行预测。
  • 将输入图像划分为SxS的网格(如7x7),每个网格预测B个边界框(bounding box)以及这些边界框的置信度和C个类别概率。

2. 特点

  • 速度快:由于仅需要一次前向传播,因此检测速度非常快。
  • 端到端训练:直接优化检测性能,不需要额外的分类或定位步骤。

3. 局限性

  • 对小目标和密集目标的检测效果可能不佳。

  • 由于网格划分,有时会出现边界框定位不准确的情况。

    YOLOv2

1. 改进点

  • 引入批量归一化(Batch Normalization),提高了模型的收敛速度和稳定性。
  • 使用高分辨率的图像进行训练,提高了对小目标的检测效果。
  • 引入锚框(anchor boxes),允许模型预测多种尺度和比例的边界框。
  • 提出了一个新的网络结构Darknet-19,作为YOLOv2的主干网络。

2. 拓展数据集

  • YOLO9000:除了使用COCO数据集进行训练外,还结合了ImageNet数据集,实现了对9000多种类别的检测。

    YOLOv3

1. 改进点

  • 使用更深、更复杂的网络结构Darknet-53,提高了特征提取能力。

  • 引入了多尺度预测,提高了对不同大小目标的检测效果。

  • 使用了逻辑回归损失函数来替代softmax进行分类预测,以处理多标签分类问题。

    YOLOv4

1. 改进点

  • 采用了CSPDarkNet53作为主干网络,进一步提高了特征提取能力。
  • 引入了SPP(空间金字塔池化)模块和PAN(路径聚合网络),增强了特征融合和上下文信息提取能力。
  • 使用了CIOU_Loss作为损失函数,提高了边界框的回归精度。
  • 采用了多种数据增强和模型优化技巧,如Mosaic数据增强、CmBN(跨小批量标准化)等。

2. 性能

  • YOLOv4在保持高速度的同时,进一步提高了目标检测的精度,尤其在复杂场景和小目标检测方面表现出色。

40. Neural style

40.1 Basic concepts

  • 样式迁移:将样式图片中的风格(如油画、水彩等)迁移到内容图片上,生成一张新的合成图片。

40.2 Working principle

基于卷积神经网络(CNN)的样式迁移是这一领域的奠基性工作。其工作原理大致如下:

  1. 初始化合成图片:通常将合成图片初始化为内容图片。

  2. 选择预训练的卷积神经网络:用于抽取图片的特征。在训练过程中,该网络的权重保持不变。

  3. 特征抽取:卷积神经网络通过多个层逐级抽取图像的特征。可以选择某些层的输出作为内容特征或样式特征。

    • 内容特征:通常选择较深的网络层输出作为内容特征,因为它们能够捕获更高级别的图像信息。
    • 样式特征:通过计算不同网络层输出之间的相关性来获取样式特征,这可以捕获图像的纹理和颜色信息。
  4. 训练过程

    • 通过优化算法(如梯度下降)迭代更新合成图片,使其同时满足内容损失和样式损失的要求。
    • 内容损失:使合成图片在内容特征上与内容图片接近。
    • 样式损失:使合成图片在样式特征上与样式图片接近。
    • 总变差损失:有助于减少合成图片中的噪点。

40.3 Loss function

样式迁移常用的损失函数由三部分组成:

  • 内容损失:使合成图像与内容图像在内容特征上接近。
  • 样式损失:使合成图像与样式图像在样式特征上接近。
  • 总变差损失:有助于减少合成图像中的噪点。

40.4 Advantages and disadvantages

  • 优点:能够生成具有特定风格的合成图片,为艺术创作和图像处理提供了新的可能性。
  • 缺点:每张图片都需要重新训练,计算成本较高。此外,生成的合成图片可能存在噪声或失真等问题。

40.5 Application scenarios

样式迁移在艺术创作、广告设计、游戏开发等领域具有广泛的应用前景。例如,可以将名画的风格迁移到现代照片上,创造出独特的艺术效果;也可以将不同的艺术风格应用于广告图像,提高广告的吸引力和创新性。

40.6 Implementation method

如下图所示,可以用一个预训练好的神经网络来实现样式迁移:

在这里插入图片描述

  • 1:复制内容图片来初始化一张图片,之后将这张图片中的像素作为参数进行更新,最终得到合成的图片
  • 2:将内容图片,当前的合成图片,样式图片分别输入一个相同的预训练好的神经网络
  • 3:假设该神经网络的不同层分别提取与内容和风格相关的信息,可以据此得到一个损失:
    • 将合成图片与内容相关的层的输出与内容图片对应层的输出进行处理,得到内容损失
    • 将合成图片与风格相关的层的输出与风格图片对应层的输出进行处理,得到风格损失
    • 对合成图片本身,统计图片中的高频噪点(即过明或过暗像素点),得到全变分损失
    • 将三部分损失加起来得到总的样式迁移的损失函数
  • 4:利用3定义的损失函数,以合成图片的每个像素点为参数进行梯度下降,得到最终合成的图片

内容损失

神经网络内容相关层的输出的相似度可以直接反应两张图片在内容上的相似度,因此内容损失可以直接将对应层的输出视为内容直接求平方差损失。

风格损失:格拉姆矩阵

对于内容层,可以直接将对应层的输出求平方差损失,但是对于风格则略有不同

一般认为,风格层对应的输出的多个通道分别对应着不同类型的信息,如果将输出的形状从 [ b a t c h _ s i z e = 1 , c h a n n e l s , h , w ] [batch\_size=1,channels,h,w] [batch_size=1,channels,h,w]转化为 [ c h a n n e l s , h ∗ w ] [channels,h*w] [channels,hw]就能得到通道数个向量,以 x 1 , x 2 . . . x c x_1,x_2...x_c x1,x2...xc表示,代表不同通道所提取出的不同信息,而风格可以视作这些信息之间的关联,即相似度。

定义格拉姆矩阵 X ∗ X T ∈ R c ⋅ c \bold X * \bold X^T \in R^{c \cdot c} XXTRcc,矩阵的第i行第j列即向量 x i x_i xi x j x_j xj的内积,这个矩阵就代表了一张图片的风格。

对于生成图片和风格图片的格拉姆矩阵求平方差损失就能得到所需的风格损失

此外,为了让风格损失不受格拉姆矩阵及向量的大小影响,实际将格拉姆矩阵除以这些大小 c h a n n n e l s ∗ h ∗ w channnels*h*w channnelshw

全变分损失

用于去除高频噪点(过明过暗像素点)
∑ i , j ∣ x i , j − x i + 1 , j ∣ + ∣ x i , j − x i , j + 1 ∣ \sum_{i, j} \left|x_{i, j} - x_{i+1, j}\right| + \left|x_{i, j} - x_{i, j+1}\right| i,jxi,jxi+1,j+xi,jxi,j+1

41. Kaggle cifar10 achieve

https://www.kaggle.com/competitions/cifar-10

在这里插入图片描述
在这里插入图片描述

42. Encounter problems and solutions

42.1 kernel problem

[已解决]
在这里插入图片描述

  • 解决Jupyter Notebook当中有关内核挂掉的问题
  • 加入以下代码
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

在这里插入图片描述

42.2 Path problem

[已解决]

在这里插入图片描述
解决方案:使用相对路径 ,进行简化代替

42.3 wandb problem

[已解决]

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/30254.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[Linux] Shell

chsh不是一种sh,而是一个命令行使用程序,用于更改默认shell CentOS是个开源软件,没有sh,sh是商业版的, 按ls /bin/*sh显示的sh实际上是个链接文件,连接的bash 在命令行输入新的sh名,会启动一个新的进程, 输…

厂里资讯之app端文章搜索

app端文章搜索 1) 内容介绍 文章搜索 ElasticSearch环境搭建 索引库创建 文章搜索多条件复合查询 索引数据同步 搜索历史记录 Mongodb环境搭建 异步保存搜索历史 查看搜索历史列表 删除搜索历史 联想词查询 联想词的来源 联想词功能实现 2) 搭建ElasticSearch环境 …

MyBatis系列七: 一级缓存,二级缓存,EnCache缓存

缓存-提高检索效率的利器 官方文档 一级缓存基本介绍快速入门Debug一级缓存执行流程一级缓存失效分析 二级缓存基本介绍快速入门Debug二级缓存执行流程注意事项和使用细节 mybatis的一级缓存和二级缓存执行顺序小实验细节说明 EnCache缓存基本介绍配置和使用EhCache细节说明 My…

SpringBoot整合Minio(支持公有及私有bucket)

😊 作者: 一恍过去 💖 主页: https://blog.csdn.net/zhuocailing3390 🎊 社区: Java技术栈交流 🎉 主题: SpringBoot整合Minio(支持公有及私有bucket) ⏱️ 创作时间&#xff1…

张大哥笔记:如何选择一个人就值得做的副业

很多人喜欢把上班称为主业,把上班之外的工作称为副业,不管以哪种方式称呼都可以,只要能赚钱就行,上班的本质就是出卖时间,不管你是月入5000还是月入2万,都是给老板打工! 但搞笑的就是月入2万的人…

关于app爬虫的环境准备

摘要 有些数据需要在手机应用中才能查看,没有网页版,所以学习移动端的爬虫是有必要的。 手机系统分为安卓和苹果两大系统,本次讲解主要以安卓手机为例 有安卓手机的可以使用手机,没有的可以使用模拟器,本次以夜神模…

基于C++、MFC和Windows套接字实现的简单聊天室程序开发

一、一个简单的聊天室程序 该程序由服务器端和客户端两个项目组成,这两个项目均基于对话框的程序。服务器端项目负责管理客户端的上线、离线状态,以及转发客户端发送的信息。客户端项目则负责向服务器发送信息,并接收来自服务器的信息&#…

[机器学习算法]决策树

1. 理解决策树的基本概念 决策树是一种监督学习算法,可以用于分类和回归任务。决策树通过一系列规则将数据划分为不同的类别或值。树的每个节点表示一个特征,节点之间的分支表示特征的可能取值,叶节点表示分类或回归结果。 2. 决策树的构建…

《STM32 HAL库》小米微电机控制例程——通信协议分析及驱动库

之前有段时间因为机器狗项目的缘故,一直在使用小米微电机,但是苦于没有一个详尽的奶妈级教程,在控制电机的学习中踩了不少的坑。今天咱们就从头至尾一步一步的实现使用按键控制小米微电机。本文将会分析小米电机驱动库,并简要介绍…

练手代码之使用Python实现合并PDF文件

如果你有合并PDF的需要,你会怎么办 我们无所不能的程序员会选择写一个Python代码来实现(谁会这么无聊?是我),如果真的有PDF操作需要,我推荐你使用PDF Expert这个软件哈~ 话不多说直接上代码: …

Linux操作系统学习:day05

内容来自:Linux介绍 视频推荐:[Linux基础入门教程-linux命令-vim-gcc/g -动态库/静态库 -makefile-gdb调试]( 目录 day0530、删除用户31、添加和删除用户组创建用户组删除用户组 32、修改密码33、使用tar工具进行压缩和解压缩压缩解压缩 34、使用zip u…

增强大型语言模型(LLM)可访问性:深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程

Enhancing LLM Accessibility: A Deep Dive into QLoRA Through Fine-tuning Llama 2 on a single AMD GPU — ROCm Blogs 基于之前的博客《使用LoRA微调Llama 2》的内容,我们深入研究了一种称为量化低秩调整(QLoRA)的参数高效微调&#xff0…

单片机第五季-第八课:STM32CubeMx和FreeRTOS

1,FreeRTOS背景介绍 RTOS简介: 实时操作系统,本用于追求实时性的嵌入式系统,典型:ucos/uclinux/vxworks; 特点:中断响应快、一般可嵌套中断、使用实地址、多任务; (实…

Qt6视频播放器项目框架代码

视频播放的关键代码如下: 使用Qt6的QMediaPlayer,QVideoWidget实现 void FunnyWidget::initVideo() {player = new QMediaPlayer(this);videoWidget = new QVideoWidget(this);playButton = new QPushButton("Play", this);pauseButton = new QPushButton("…

项目的打包

一:打包到微信小程序 1)vscode打包 2)在微信小程序开发工具中打开路径,上传. 疑问:为什么pnpm bulid:mp-weixin用于打包,pnpm dev:mp-weixin也可生成对应路径下的文件?? 打包的是没有热重载,且打包体积更小. 二:条件编译 vscode可以打包成能在不同平台上运行的代码.但是有…

404、左叶子之和

题解:可以采用后序递归遍历的方式,先将左右子树的左叶子节点值计算出来,最后相加。 当遍历到左叶子节点的父节点时就开始处理,将左叶子节点的值记录下来。 代码如下: class Solution { public:int sumOfLeftLeaves(…

算法金 | 再见!!!梯度下降(多图)

大侠幸会,在下全网同名「算法金」 0 基础转 AI 上岸,多个算法赛 Top 「日更万日,让更多人享受智能乐趣」 接前天 李沐:用随机梯度下降来优化人生! 今天把达叔 6 脉神剑给佩奇了,上 吴恩达:机器…

利用 Qwen-VL 进行私有化部署第一个 AI 多模态大模型

Hi~!这里是奋斗的小羊,很荣幸您能阅读我的文章,诚请评论指点,欢迎欢迎 ~~ 💥💥个人主页:奋斗的小羊 💥💥所属专栏:C语言 🚀本系列文章为个人学习…

【profinet】从站开发要点

目录 0、常见缩写及关键字注释 1、profinet简介 2、profinet协议栈 3、profinet数据帧 4、profinet网络解决方案示例 5、Application areas 注:本文主要简述profinet从站开发涉及到的知识点。【不足之处后续慢慢补充】。 0、常见缩写及关键字注释 MRP: Media…

Spring中IOC容器

IoC IOC容器 IoC是一种设计思想,面向对象编程 Spring通过IoC管理所有Java对象的实例化和初始化,控制对象之间依赖关系 将IoC容器管理的Java对象称为Spring Bean,与new创建的对象没有区别 控制反转(IoC Inversion of Controle&a…