吴恩达深度学习笔记:深度学习的 实践层面 (Practical aspects of Deep Learning)1.4-1.5

目录

  • 第一门课:第二门课 改善深层神经网络:超参数调试、正 则 化 以 及 优 化 (Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization)
    • 第一周:深度学习的 实践层面 (Practical aspects of Deep Learning)
      • 1.4 正则化(Regularization)

第一门课:第二门课 改善深层神经网络:超参数调试、正 则 化 以 及 优 化 (Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization)

第一周:深度学习的 实践层面 (Practical aspects of Deep Learning)

1.4 正则化(Regularization)

深度学习可能存在过拟合问题——高方差,有两个解决方法,一个是正则化,另一个是准备更多的数据,这是非常可靠的方法,但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高,但正则化通常有助于避免过拟合或减少你的网络误差。

下面我们就来讲讲正则化的作用原理。

我们用逻辑回归来实现这些设想,求成本函数𝐽的最小值,它是我们定义的成本函数,参数包含一些训练数据和不同数据中个体预测的损失,w和b是逻辑回归的两个参数,w是一个多维度参数矢量,b是一个实数。在逻辑回归函数中加入正则化,只需添加参数 λ,也就是正则化参数,一会儿再详细讲。

λ 2 m \frac{λ}{2m} 2mλ乘以w范数的平方,w欧几里德范数的平方等于 w j w_j wj(j 值从 1 到n_x)平方的和,也可表示为 w T w w^Tw wTw,也就是向量参数w 的欧几里德范数(2 范数)的平方,此方法称为𝐿2正则化。因为这里用了欧几里德法线,被称为向量参数𝑤的𝐿2范数。

在这里插入图片描述
为什么只正则化参数𝑤?为什么不再加上参数 𝑏 呢?因为𝑤通常是一个高维参数矢量,已经可以表达高偏差问题,𝑤可能包含有很多参数,
我们不可能拟合所有参数,而𝑏只是单个数字,所以𝑤几乎涵盖所有参数,而不是𝑏,如果加了参数𝑏,其实也没太大影响,因为𝑏只是众多参数中的一个,所以我通常省略不计,如果你想加上这个参数,完全没问题。

𝐿2正则化是最常见的正则化类型,你们可能听说过𝐿1正则化,𝐿1正则化,加的不是𝐿2范数,而是正则项 λ m \frac{λ}{m} mλ乘以 ∑ j = 1 n x ∣ x ∣ \sum_{j=1}^{nx}{|x|} j=1nxx ∑ j = 1 n x ∣ x ∣ \sum_{j=1}^{nx}{|x|} j=1nxx也被称为参数𝑤向量的𝐿1范数,无论分母是𝑚还是2𝑚,它都是一个比例常量。

如果用的是𝐿1正则化,𝑤最终会是稀疏的,也就是说𝑤向量中有很多 0,有人说这样有利于压缩模型,因为集合中参数均为 0,存储模型所占用的内存更少。实际上,虽然𝐿1正则化使模型变得稀疏,却没有降低太多存储内存,所以我认为这并不是𝐿1正则化的目的,至少不是为了压缩模型,人们在训练网络时,越来越倾向于使用𝐿2正则化。

我们来看最后一个细节,𝜆是正则化参数,我们通常使用验证集或交叉验证集来配置这个参数,尝试各种各样的数据,寻找最好的参数,我们要考虑训练集之间的权衡,把参数设置为较小值,这样可以避免过拟合,所以 λ 是另外一个需要调整的超级参数,顺便说一下,为了方便写代码,在 Python 编程语言中,𝜆是一个保留字段,编写代码时,我们写成𝑙𝑎𝑚𝑏𝑑,以免与 Python 中的保留字段冲突,这就是在逻辑回归函数中实现𝐿2正则化的过程,如何在神经网络中实现𝐿2正则化呢?

神经网络含有一个成本函数,该函数包含 W [ 1 ] , b [ 1 ] W^{[1]},b^{[1]} W[1]b[1] W [ l ] , b [ l ] W^{[l]},b^{[l]} W[l]b[l]所有参数,字母𝐿是神经网络所含的层数,因此成本函数等于𝑚个训练样本损失函数的总和乘以 1 m \frac{1}{m} m1,正则项为 λ 2 m ∑ 1 L ∣ ∣ W [ l ] ∣ ∣ 2 \frac{λ}{2m}\sum_{1}^L{||W^{[l]}||^2} 2mλ1L∣∣W[l]2,我们称 ∣ ∣ W [ l ] ∣ ∣ 2 ||W^{[l]}||^2 ∣∣W[l]2为范数平方,这个矩阵范数 ∣ ∣ W [ l ] ∣ ∣ 2 ||W^{[l]}||^2 ∣∣W[l]2(即平方范数),被定义为矩阵中所有元素的平方求和。
在这里插入图片描述
我们看下求和公式的具体参数,第一个求和符号其值i从 1 到 n [ l − 1 ] n^{[l−1]} n[l1],第二个其J值从 1 到 n [ l ] n^{[l]} n[l],因为𝑊是一个 n [ l ] x n [ l − 1 ] n^{[l]} x n^{[l−1]} n[l]xn[l1]的多维矩阵, n [ l ] n^{[l]} n[l]表示𝑙 层单元的数量, n [ l − 1 ] n{[l−1]} n[l1]表示第𝑙 − 1层隐藏单元的数量。
在这里插入图片描述
该矩阵范数被称作“弗罗贝尼乌斯范数”,用下标𝐹标注,鉴于线性代数中一些神秘晦涩的原因,我们不称之为“矩阵𝐿2范数”,而称它为“弗罗贝尼乌斯范数”,矩阵𝐿2范数听起来更自然,但鉴于一些大家无须知道的特殊原因,按照惯例,我们称之为“弗罗贝尼乌斯范数”,它表示一个矩阵中所有元素的平方和。

该如何使用该范数实现梯度下降呢?
用 backprop 计算出𝑑𝑊的值,backprop 会给出𝐽对𝑊的偏导数,实际上是𝑊[𝑙],把𝑊[𝑙]替换为𝑊[𝑙]减去学习率乘以𝑑𝑊。

这就是之前我们额外增加的正则化项,既然已经增加了这个正则项,现在我们要做的就是给dW加上这一项 λ m W [ l ] \frac{λ}{m}W^{[l]} mλW[l],然后计算这个更新项,使用新定义的 d W [ l ] dW^{[l]} dW[l],它的定义含有相关参数代价函数导数和,以及最后添加的额外正则项,这也是𝐿2正则化有时被称为“权重衰减”的原因。
在这里插入图片描述
我们用 d W [ l ] dW^{[l]} dW[l]的定义替换此处的 d W [ l ] dW^{[l]} dW[l],可以看到, W [ l ] W^{[l]} W[l]的定义被更新为 W [ l ] W^{[l]} W[l]减去学习率𝑎 乘以 backprop 再加上 λ m W [ l ] \frac{λ}{m}W^{[l]} mλW[l]
在这里插入图片描述
该正则项说明,不论 W [ l ] W[l] W[l]是什么,我们都试图让它变得更小,实际上,相当于我们给矩阵 W 乘以(1 − 𝑎 λ m \frac{λ}{m} mλ)倍的权重,矩阵𝑊减去𝛼 λ m \frac{λ}{m} mλ倍的它,也就是用这个系数(1 − λ m \frac{λ}{m} mλ)乘以矩阵𝑊,该系数小于 1,因此𝐿2范数正则化也被称为“权重衰减”,因为它就像一般的梯度下降,𝑊被更新为少了𝑎乘以 backprop 输出的最初梯度值,同时𝑊也乘以了这个系数,这个系数小于 1,因此𝐿2正则化也被称为“权重衰减”。

在这里插入图片描述
我不打算这么叫它,之所以叫它“权重衰减”是因为这两项相等,权重指标乘以了一个小于 1 的系数。

以上就是在神经网络中应用𝐿2正则化的过程,有人会问我,为什么正则化可以预防过拟合,我们放在下节课讲,同时直观感受一下正则化是如何预防过拟合的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/324.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

QT c++ 将浮点数数组转换成 QByteArray

//上一篇文章&#xff0c;描写了怎么将数据已字节数组的形式写到Sqlite 数据库&#xff0c;那么。 //本文描述2种方法将浮点数数组转换为字节数组QByteArray //在QT6.2.4 MSVC2019 调试通过 #include <QCoreApplication> #include <QByteArray> #include <Q…

Baumer工业相机堡盟工业相机如何通过BGAPI SDK实现相机给外界IO信号输出(C#)

Baumer工业相机堡盟工业相机如何通过BGAPI SDK实现相机给外界IO信号输出&#xff08;C#&#xff09; Baumer工业相机Baumer工业相机BGAPISDK和相机IO信号输出的技术背景Baumer工业相机通过BGAPISDK实现相机IO信号的输出功能1.引用合适的类文件2.通过BGAPISDK在初始化时设置相应…

Vue接收接口返回的mp3格式数据并支持在页面播放音频

一、背景简介 在实际工作中需要开发一个转音频工具&#xff0c;并且能够在平台页面点击播放按钮播放音频 二、相关知识介绍 2.1 JS内置对象Blob Blob对象通常用于处理大量的二进制数据&#xff0c;可以读取/写入/操作文件、音视频等二进制数据流。Blob表示了一段不可变的二…

【PCL】教程alignment_prerejective.cpp 刚性物体的鲁棒位姿估计

The viewer window provides interactive commands; for help, press h or H from within the window. > Loading V:\learn\PCL\pcl\examples\test\chef.pcd [PCLVisualizer::setUseVbos] Has no effect when OpenGL version is 鈮?2 [done, 327.147 ms : 5092 points] Ava…

【torch函数】torch.multinomial函数

torch.multinomial 是PyTorch中的一个函数&#xff0c;用于从多项分布中抽取样本。多项分布是一种描述多个可能结果的概率分布&#xff0c;例如抛硬币、掷骰子等。 torch.multinomial的用法如下&#xff1a; torch.multinomial(input, num_samples, replacementFalse, *, gene…

C++入门之类和对象(下)

C入门之类和对象(下) 文章目录 C入门之类和对象(下)一、初始化列表1.1 概念1.2 注意事项 11.3 注意事项 21.4 注意事项 3 二、explicit关键字2.1 为什么要有explicit关键字 三、static成员3.1 static修饰类的成员和成员函数 一、初始化列表 1.1 概念 先来看看构造函数 #incl…

MySQL 中 InnoDB 存储引擎使用的 B+树底层数据结构

简要介绍 InnoDB 和它为什么选择使用 B树 InnoDB 是 MySQL 中默认的存储引擎&#xff0c;广泛用于生产环境中&#xff0c;特别是在要求高可靠性和事务性的应用场景。这个存储引擎支持事务处理、行级锁定、外键约束等高级数据库功能&#xff0c;这使得它非常适合处理大量数据并…

力扣爆刷第122天之CodeTop100五连刷96-100

力扣爆刷第122天之CodeTop100五连刷96-100 文章目录 力扣爆刷第122天之CodeTop100五连刷96-100一、912. 排序数组二、24. 两两交换链表中的节点三、297. 二叉树的序列化与反序列化四、560. 和为 K 的子数组五、209. 长度最小的子数组 一、912. 排序数组 题目链接&#xff1a;h…

AI大模型量化格式介绍(GPTQ,GGML,GGUF,FP16/INT8/INT4)

在 HuggingFace 上下载模型时&#xff0c;经常会看到模型的名称会带有fp16、GPTQ&#xff0c;GGML等字样&#xff0c;对不熟悉模型量化的同学来说&#xff0c;这些字样可能会让人摸不着头脑&#xff0c;我开始也是一头雾水&#xff0c;后来通过查阅资料&#xff0c;总算有了一些…

嵌入式学习57-ARM6(linux驱动启动程序)

知识零碎&#xff1a; arm2440 精简指令集架构 …

MongoDB聚合运算符:$reverseArray

MongoDB聚合运算符&#xff1a;$reverseArray 文章目录 MongoDB聚合运算符&#xff1a;$reverseArray语法使用举例 $reverseArray聚合运算符接受数组表达式作为参数&#xff0c;并返回一个元素按相反顺序排列的数组。 语法 { $reverseArray: <array expression> }参数可…

DFS之剪枝(上交考研题目--正方形数组的数目)

题目 给定一个非负整数数组 A A A&#xff0c;如果该数组每对相邻元素之和是一个完全平方数&#xff0c;则称这一数组为正方形数组。 返回 A A A 的正方形排列的数目。 两个排列 A 1 A1 A1 和 A 2 A2 A2 不同的充要条件是存在某个索引 i i i&#xff0c;使得 A 1 [ i …

Spring MVC found on classpath, which is incompatible with Spring Cloud Gateway.

报错信息 Description: Spring MVC found on classpath, which is incompatible with Spring Cloud Gateway. Action: Please set spring.main.web-application-typereactive or remove spring-boot-starter-web dependency.解析 这个错误信息是因为你的项目中同时存在…

前端基础(之五)

Q1: git常用的命令有哪些 git init 在当前目录下创建一个新的Git仓库 git clone 复制一个远程仓库到本地 git add 将文件添加到暂存区&#xff0c;准备提交 git commit 提交暂存区的更改到本地仓库&#xff0c;并记录提交信息 git status 查看仓库的当前状态&am…

头歌平台云计算实验

云计算 Hive综合应用案例——用户学历查询1 查询每一个用户从出生到现在的总天数2 同一个地区相同的教育程度的最高收入3 统计各级学历所占总人数百分比 Hive综合应用案例——用户学历查询 1 查询每一个用户从出生到现在的总天数 ---------- 禁止修改 ----------drop databas…

测试一下 Meta Llama3-70b-Instruct-q8

测试一下 Meta Llama3-70b-Instruct-q8 0. 引言1. 测试 Meta Llama3-70b-Instruct-q8 0. 引言 今天&#xff0c;Meta 正式介绍Meta Llama 3&#xff0c;Meta 开源大型语言模型的下一代产品。 这次发布包括具有80亿&#xff08;8B&#xff09;和700亿&#xff08;70B&#xff0…

5G 边缘计算如何赋能工业自动化生产线?

5G边缘计算为工业自动化生产线带来的赋能主要体现在以下几个方面&#xff1a; 低延迟与高可靠性&#xff1a;5G网络的低延迟特性对于工业自动化是至关重要的&#xff0c;特别是在需要快速响应的生产线上。边缘计算可以在数据产生地点附近处理数据&#xff0c;从而进一步减少通信…

LeetCode-最大子数组和

每日一题 今天刷到的是一道利用动态规划解决的题目 题目要求 给你一个整数数组 nums &#xff0c;请你找出一个具有最大和的连续子数组&#xff08;子数组最少包含一个元素&#xff09;&#xff0c;返回其最大和。 示例 1&#xff1a; 输入&#xff1a;nums [-2,1,-3,4,-…

指纹浏览器如何高效帮助TikTok账号矩阵搭建?

TikTok的账号矩阵&#xff0c;可能听起来还比较陌生&#xff0c;但随着TikTok业务已经成为吃手可热的跨境业务&#xff0c;TikTok多账号矩阵已成为流行策略。但它有什么优点呢&#xff1f;操作多个帐户会导致被禁止吗&#xff1f;如何有效地建立账户矩阵开展业务&#xff1f;这…

第十三章数据质量10分

原则&#xff1a;重要的数据先开始。 重点&#xff1a;PDCA&#xff1b;评估数据质量维度&#xff1b;根因分析&#xff1b;数据质量报告13.1 引言 有数据质量团队&#xff08;Data Quality Program Team&#xff09;。 数据质量团队负责与业务和技术数据管理专业人员协作&…