【动手学深度学习】(七)丢弃法

文章目录

  • 一、理论知识
  • 二、代码实现
    • 2.1从零开始实现Dropout
  • 【相关总结】
    • np.random.uniform(low,high,size)
    • astype
    • torch.rand()

一、理论知识

1.动机

  • 一个好的模型需要对输入数据的扰动鲁棒
    • 使用有噪音的数据等价于Tikhonov正则
    • 丢弃法:在层之间加入噪音
      2.无偏差的加入噪音
  • 对x加入噪音得到x’,我们希望
    在这里插入图片描述
  • 丢弃法对每个元素进行如下扰动在这里插入图片描述

在这里插入图片描述
3.使用场景

  • 通常将丢弃法作用在隐藏全连接层的输出上
    在这里插入图片描述
    4.推理中的丢弃法
  • 正则项只在训练中使用:他们影响模型参数的更新
  • 在推理过程中,丢弃法直接返回输出
    在这里插入图片描述
    总结:
  • 丢弃法将一些输出项随机置0来控制模型复杂度
  • 常作用在多层感知机的隐藏层输出上
  • 丢弃概率是控制模型复杂度的超参数

二、代码实现

2.1从零开始实现Dropout

import torch
from torch import nn
from d2l import torch as d2ldef dropout_layer(X, dropout):assert 0 <= dropout <= 1if dropout == 1:
#         全置0,即全丢弃return torch.zeros_like(x)if dropout == 0:
#         全保留return X
#     掩码中的元素大于 dropout 的值时为 True,表示该元素丢弃;mask = np.random.uniform(0, 1, X.shape) > dropout
#     mask = (torch.randn(X.shape) > dropout).float()
# 进行归一化,保持期望不变return mask.astype(np.float32) * X / (1.0 - dropout)

需要解释一下最后为什么需要进行归一化(即对保留的元素进行缩放)

在进行 Dropout 操作时,为了保持期望值不变,需要对被保留的神经元的输出进行归一化。Dropout 实际上是在训练期间按照一定概率随机将某些神经元的输出置零,这样可以防止模型过拟合。
假设在一个 Dropout 操作中,有一部分神经元被保留,而一部分被置零。那么为了保持期望值不变,就需要对被保留的神经元的输出进行归一化。这是因为在测试阶段,所有神经元都会参与预测,而在训练阶段,有一部分参与训练。如果在训练时不对被保留的神经元的输出进行归一化,那么在测试时整体的输出值就会偏大,因为所有神经元都要参与预测。

具体而言,对于被保留的神经元,其输出值 X 会乘以一个缩放因子,即 1.0 / (1.0 -dropout)。这样,在训练阶段,因为有一部分神经元被置零,乘以缩放因子后可以保持整体期望值不变。在测试阶段,因为所有神经元都是活跃的,这个缩放因子就等于1,不影响整体输出。

所以,通过除以 (1.0 - dropout) 进行归一化,可以在 Dropout操作中保持整体期望值不变,确保在训练和测试阶段输出值的一致性。
训练时输出的期望是E(x)=[(1-p)x+p*0]/(1-p) = x
测试阶段的期望值等于模型的实际输出,X

【相关总结】

np.random.uniform(low,high,size)

生成服从[low,high)范围内的均匀分布的元素。

low:生成元素值的下界(默认为0)
high:生成元素值的上界(默认为1)
size:输出设置

import numpy as np# 默认为[0,1)的均匀分布
arr = np.random.uniform()
print(arr)# 指定low,high
arr = np.random.uniform(2, 8)
print(arr)# 指定size
arr = np.random.uniform(2,8, (3,3))
print(arr)

0.8091521937664127
7.354698032780574
[[2.43782389 4.08495999 2.84664462]
[5.61473981 6.99573442 7.15074041]
[3.27288764 2.22821273 5.99610331]]

astype

转换数组数据类型

import numpy as np# 创建一个整数数组
arr_int = np.array([1, 2, 3, 4, 5])# 将整数数组转换为浮点数数组
arr_float = arr_int.astype(np.float32)print(arr_float)

[1. 2. 3. 4. 5.]

# 创建一个布尔数组
arr_bool = np.array([True, False, True, False])# 将布尔数组转换为整数数组
arr_int_from_bool = arr_bool.astype(np.int)print(arr_int_from_bool)

[1 0 1 0]

torch.rand()

用于生成随机数,生成在区间 [0, 1) 内均匀分布的随机数,包括 0,但不包括 1。

import torch# 生成一个包含随机数的张量,形状为 (3, 4)
random_tensor = torch.rand(3, 4)print(random_tensor)

tensor([[0.2901, 0.8945, 0.7689, 0.5298],
[0.6336, 0.8918, 0.8178, 0.8453],
[0.0051, 0.8169, 0.1454, 0.9368]])

如果需要生成在其他区间的随机数,可以通过适当的缩放和平移来实现。例如,如果要生成在区间 [a, b) 内均匀分布的随机数,可以使用:

tensor([[3.1698, 2.7084, 2.2045, 4.5003],
[3.1167, 4.5860, 3.7704, 4.0340],
[3.1466, 2.3846, 4.7165, 4.7822]])

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/188950.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vivado实现分析与收敛技巧3-面向非工程用户的智能设计运行建议

要使用智能设计运行功能特性 &#xff0c; 需要 Vivado 工程。这是因为需要进行运行管理。以下指示信息解释了创建综合后工程的最简单方法。这些信息适用于以下流程的用户&#xff1a; • 非工程实现运行 • 使用较低版本的 Vivado 或第三方综合工具进行综合 访问智能设计…

MvLNet

表1 Noisy MNIST–ACC&#xff1a;0.678&#xff0c;F-mea&#xff1a;0.6691&#xff0c;NMI&#xff1a;0.6632&#xff0c;AMI&#xff1a;0.6626 Caltech101-20–ACC&#xff1a;0.3521&#xff0c;F-mea&#xff1a;0.2535&#xff0c;NMI&#xff1a;0.4968&#xff0c;A…

你好!插值查找【JAVA】

1.初次相识 插值查找&#xff08;interpolation search&#xff09;是一种根据待查找关键字在有序数组中的大致位置决定查找范围的查找算法。插值查找与二分查找类似&#xff0c;区别在于插值查找对于待查找关键字在数组中的位置进行估计&#xff0c;从而更精准地定位到待查找关…

SpringBoot+mysql+vue实现大学生健康档案管理系统前后端分离

一、项目简介 本项目是一套基于SpringBoot实现大学生健康档案管理系统&#xff0c;主要针对计算机相关专业的正在做bishe的学生和需要项目实战练习的Java学习者。 包含&#xff1a;项目源码、数据库脚本等&#xff0c;该项目可以直接作为bishe使用。 项目都经过严格调试&#…

Android Studio新版UI介绍

顶部菜单栏 左侧主要菜单入口项目名称分支名称 展开之后&#xff0c;主要功能与原来菜单栏功能一样&#xff0c;最大的变化就是把setting独立出去了。 而项目名称这里&#xff0c;展开就可以看到打开的历史工程列表&#xff0c;可以直接新建工程&#xff0c;原来需要在项目名称…

git的相关实用命令

参看文章&#xff1a;https://blog.csdn.net/qq_21688871/article/details/130158888 http://www.mobiletrain.org/about/BBS/159885.html 1、git commit后&#xff0c;但发现文件有误&#xff0c;不想push(提交到本地库&#xff0c;回退到暂存区&#xff09; git reset --sof…

locked1勒索病毒,刚攻击完海康威视系统,又再针对速达软件服务器攻击

导言&#xff1a; .locked、.locked1勒索病毒正成为数字安全的一大威胁。本文91数据恢复将深入介绍.locked、.locked1勒索病毒的特点、如何有效恢复被其加密的数据文件&#xff0c;以及预防这一数字噩梦的方法。如果您正在经历勒索病毒数据恢复的困境&#xff0c;我们愿意与您…

漏刻有时百度地图API实战开发(7)个性化地图加载瓦片空白和Echarts加载bmap元素跟踪重影

一、地图瓦片加载缓慢或者空白 在使用百度个性化地图时&#xff0c;出现地图瓦片加载缓慢或者空白 解决方案 1.替换百度地图API引入方式 <script type"text/javascript" src"https://api.map.baidu.com/api?v3.0&akI2428Rc4FDz00LSGUYfISLcbPsxOfjx…

.NET 8 发布!

作者&#xff1a;Gaurav Seth 排版&#xff1a;Alan Wang 请立即下载 .NET 8&#xff01; 我们很高兴地宣布从今天开始 .NET 8 正式发布&#xff0c;它是世界领先的开发平台之一的最新 LTS 版本。.NET 8 提供了数以千计的性能、稳定性和安全性改进&#xff0c;以及平台和工具增…

中学老师求职简历(精选9篇)

以下简历内容以中学老师招聘需求为背景&#xff0c;我们整理并修改了9篇全面、专业且具有参考价值的简历案例&#xff0c;大家可以灵活借鉴&#xff0c;希望能帮助大家在众多候选人中脱颖而出。 中学老师简历下载&#xff08;可在下制作下载&#xff09;&#xff1a;百度幻主简…

抓取微信好友列表信息

本文实现的是一种较为安全、简洁、高效的抓取微信好友信息的方法。 实现工具&#xff1a;微信pc端、影刀RPA 主要流程&#xff1a; 手动—前期准备&#xff0c;电脑登陆微信&#xff0c;打开联系人页&#xff0c;使得联系人分类“A”显现在微信窗口界面 自动—运行程序&#…

JDK21无法导入TimeUnit类

运行环境&#xff1a;windows11、IDEA2023.1.3、JDK21 问题描述&#xff1a;IDEA中无法导入java.util.concurrent.TimeUnit类。 以下截图是问题解决后的截图。有问题的时候未截图&#xff0c;说明一下&#xff0c;有问题的时候TimeUnit类是红色的&#xff0c;无法导入&#x…

vue3中的provide与inject跨层级组件(祖孙)间通信

provide和inject提供依赖注入&#xff0c;功能类似 vue2.x 的provide/inject 实现跨层级组件(祖孙)间通信 子或孙子组件接收到的数据可以用于读取显示&#xff0c;也可以进行修改&#xff0c;同步修改父&#xff08;祖&#xff09;组件的数据。 注意&#xff1a;无论子组件…

python 使用reportlab打造29页图文并茂pdf(全网reportlab最强pdf自动化生成代码)

python 使用reportlab打造29页图文并茂pdf(全网reportlab最强pdf自动化生成代码&#xff09; 这次项目所使用的代码如果同志们可以灵活使用&#xff0c;基本上可以解决百分之九十以上的pdf模板自动化生成。 最近博主&#xff0c;做了一个项目&#xff0c;使用reportlab制作pd…

程序包不存在

idea2020会有一个小bug&#xff0c;在idea的Settings设置中进行下面配置&#xff1a; 然后在maven项目下的pom.xml中加入如下代码&#xff1a; <plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-surefire-plugin</artifact…

【趣味JavaScript】一文让你读懂JavaScript原型对象与原型链的继承,探秘属性的查找机制! 《重置版》

&#x1f680; 个人主页 极客小俊 ✍&#x1f3fb; 作者简介&#xff1a;web开发者、设计师、技术分享博主 &#x1f40b; 希望大家多多支持一下, 我们一起学习和进步&#xff01;&#x1f604; &#x1f3c5; 如果文章对你有帮助的话&#xff0c;欢迎评论 &#x1f4ac;点赞&a…

Oracle忘记所有密码怎么办

最近遇到一个Oracle的问题&#xff0c;密码要过期了&#xff0c;但是除了用户密码&#xff0c;其他密码都不知道了&#xff0c;修改不了密码怎么办呢&#xff1f; 试了各种方法&#xff0c;最终下面的方式生效了&#xff1a; 首先&#xff0c;使用orapwd生成新的密码文件&…

云计算如何创芯:“逆向工作法”的性感之处

在整个云计算领域&#xff0c;能让芯片规模化的用起来&#xff0c;是决定造芯是否成功的天花板。在拉斯维加斯的亚马逊云科技2023 re:Invent则是完美诠释了这一论调。 亚马逊云科技2023 re:Invent开幕前两个小时&#xff0c;有一场小型的欢迎晚宴&#xff0c;《星期日泰晤士报》…

BUUCTF [GXYCTF2019]SXMgdGhpcyBiYXNlPw== 1

BUUCTF:https://buuoj.cn/challenges 题目描述&#xff1a; 得到的 flag 请包上 flag{} 提交。 密文&#xff1a; 下载附件&#xff0c;解压得到flag.txt文件。 解题思路&#xff1a; 1、打开flag.txt文件&#xff0c;内容如下。 Q2V0dGUgbnVpdCwK SW50ZW5hYmxlIGluc29tbm…

Python编程题集(第三部容器操作 )

Demo61 指定等级 题目描述 读入学生成绩&#xff0c;获取最高分best&#xff0c;然后根据下面的规则赋等级值&#xff1a; &#xff08;1&#xff09;如果分数≥best-10&#xff0c;等级为A &#xff08;1&#xff09;如果分数≥best-20&#xff0c;等级为B &#xff08;1…