吴恩达2022机器学习专项课程(一)正则化(正则化成本函数正则化线性回归正则化逻辑回归)

目录

  • 一.正则化
    • 1.1 正则化的好处
    • 1.2 正则化的实现方式
  • 二.正则化改进线性回归的成本函数
    • 2.1 正则化后的成本函数的意义
    • 2.2 λ参数的作用
    • 2.3 不同λ对算法的影响
    • 2.4 为什么参数b没有正则化项
  • 三.正则化线性回归的梯度下降
    • 3.1 为什么正则化可以在梯度下降迭代中减小w
    • 3.2 导数的计算过程(选修)
  • 四.正则化改进逻辑回归的成本函数
  • 五.正则化逻辑回归的梯度下降
  • 总结

一.正则化

1.1 正则化的好处

可以使参数变小,参数值越小,模型越简单,过拟合的可能性变小。

1.2 正则化的实现方式

成本函数中添加正则化项来约束w参数,从而选择较小的参数值。

二.正则化改进线性回归的成本函数

由原来的均方误差项和新加的正则化项组成。λ表示正则化参数,乘法参数b的影响不大,因此参数b不使用正则化项。在这里插入图片描述

2.1 正则化后的成本函数的意义

参数构建的模型可以更好的拟合数据,同时让w参数尽可能的小,减少过拟合的风险。

2.2 λ参数的作用

λ决定这两项的权重性。

2.3 不同λ对算法的影响

  • λ为0
    这是一种极端情况,正则化项等于不存在,因此模型会发生过拟合。在这里插入图片描述
  • λ为10的10次方
    另一种极端情况,正则化权重很大,因此w参数都接近0,才能最小化正则化项。由于w都接近0,fx近乎等于b,模型只是一条直线了,发生了欠拟合。
    在这里插入图片描述
    在这里插入图片描述
  • 理想λ
    平衡第一项和第二项,既能最小化均方误差,也能保持w参数较小(后续会讲如何选择λ)。

2.4 为什么参数b没有正则化项

b对模型的复杂性影响不大,因此一般不添加b的正则化项。

三.正则化线性回归的梯度下降

在这里插入图片描述

3.1 为什么正则化可以在梯度下降迭代中减小w

  • 公式展开后重新合并,公式第一项是新加的,第二项是旧形式的成本函数。
    在这里插入图片描述
  • 第一项里,λ是1-10的数,α是类似0.01的数,因此每次梯度下降迭代,wj都会乘以略小于1的数,因此w参数会慢慢减小。
    在这里插入图片描述

3.2 导数的计算过程(选修)

在这里插入图片描述

四.正则化改进逻辑回归的成本函数

在这里插入图片描述

五.正则化逻辑回归的梯度下降

和线性回归的梯度下降公式一样,唯一的区别是公式里的f(x)表达式不同。同样,b参数没有正则化项。
在这里插入图片描述

总结

正则化是一种减少模型过拟合风险的技术。具体操作是在成本函数中添加一个正则化项,这有助于约束权重参数 w 的大小。通常,不需要对参数 b 进行正则化,因为 b 对模型的复杂度影响相对较小。正则化的关键在于参数 λ,一个合适的 λ 值能帮助我们平衡模型拟合数据的能力与减少过拟合的需求。无论是线性回归还是逻辑回归,其成本函数都可以通过引入正则化项得到改进。使用梯度下降法更新正则化后的成本函数,可以有效找到最佳的 w 和 b,从而构建出既能良好拟合数据又能控制过拟合的模型。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/6320.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习笔记-18

异常检测问题 异常检测虽然主要用于无监督学习问题上,但是和监督学习问题很相似。 异常检测(Anomaly Detection):给定正确样本集{ x ( 1 ) , x ( 2 ) . . . x ( n ) x^{(1)},x^{(2)}...x^{(n)} x(1),x(2)...x(n)},记新样本即要检测的样本为…

eNSP-抓包解析HTTP、FTP、DNS协议

一、环境搭建 1.http服务器搭建 2.FTP服务器搭建 3.DNS服务器搭建 二、抓包 三、http协议 1.HTTP协议,建立在FTP协议之上 2.http请求 3.http响应 请求响应报文参考:https://it-chengzi.blog.csdn.net/article/details/113809803 4.浏览器开发者工具抓包…

002-ChatGLM4接入Langchain

智谱AI GLM-4 新一代基座大模型GLM-4,整体性能相比GLM3全面提升60%,逼近GPT-4;支持更长上下文;更强的多模态;支持更快推理速度,更多并发,大大降低推理成本;同时GLM-4增强了智能体能力。 基础能力(英文):GLM-4 在 MMLU、GSM8K、MATH、BBH、HellaSwag、HumanEval等…

ubuntu搭建jupyter_notebook服务器

环境:ubuntu 22.04 目录 环境:ubuntu 22.04 一、创建一个anaconda用户 创建用户condaUser 为用户condaUser设置密码 开放opt文件夹的权限 登录condaUser用户 二、安装anaconda 下载anaconda 安装anaconda 三、添加环境变量 四、anaconda换源 …

附录C:招聘流程

< 回到目录 附录C&#xff1a;招聘流程 _xxx_公司的招聘 使命 只雇佣顶级人才。 他们是能够胜任工作&#xff0c;并与 _&#xff08;你的公司名称&#xff09;_ 的企业文化相匹配的超级明星。 方法 记分卡。招聘经理创建一份文件&#xff0c;详细描述此职位的工作内容…

【Unity Shader入门精要 第4章】数学基础(二)

1. Unity中的坐标空间 1.1 五个坐标空间 模型空间 模型自身的3D坐标系空间&#xff0c;左手坐标系是一个相对空间&#xff0c;坐标轴指向随模型旋转变化当物体有父节点时&#xff0c;Transform组件中各属性的值表示的即为该物体在其父物体的模型空间中的值当模型顶点传入顶点…

算法训练营第53天|LeetCode 1143.最长公共子序列 1035.不相交的线 53. 最大子序和

LeetCode 1143.最长公共子序列 题目链接&#xff1a; LeetCode 1143.最长公共子序列 代码&#xff1a; class Solution { public:int longestCommonSubsequence(string text1, string text2) {int size1text1.size();int size2text2.size();int result0;vector<vector&l…

ARP防火墙能够为网络安全贡献什么样的力量

ARP防火墙&#xff08;Address Resolution Protocol Firewall&#xff09;作为网络安全的一环&#xff0c;起到保护网络免受ARP欺骗攻击的关键作用。今天德迅云安全给您介绍ARP防火墙的相关方面&#xff0c;帮助您深入了解和认识这一关键的安全措施。 网络安全对于现代社会的信…

TCP/IP 协议基础:构建互联网基石

目录 前言 一.网络通信协议 TCP/IP 1.网络通信协议 3.TCP/IP 协议 3.管理的组织和机构 4.RFC 二.OSI 参考模型 1.层次结构 2.通信机制 3.PDU 4.各层的功能 三.TCP/IP 协议簇 1.TCP/IP 与 OSI 的对应关系 2.TCP/IP 各层 3.TCP/IP 封装与分用 4.重要概念 5.分…

「 网络安全常用术语解读 」SBOM主流格式CycloneDX详解

CycloneDX是软件供应链的现代标准。CycloneDX物料清单&#xff08;BOM&#xff09;可以表示软件、硬件、服务和其他类型资产的全栈库存。该规范由OWASP基金会发起并领导&#xff0c;由Ecma International标准化&#xff0c;并得到全球信息安全界的支持&#xff0c;如今CycloneD…

Java——认识异常

目录 一.异常的概念与体系结构 1.异常的概念 1.1算术异常 1.2数组越界异常 1.3空指针异常 2.异常的体系结构 3.异常的分类 3.1编译时异常 3.2运行时异常 二.异常的处理 1.防御式编程 1.1LBYL 1.2EAFP&#xff08;核心&#xff09; 2.异常的抛出 3.异常的捕获 3…

使用 ORPO 微调 Llama 3

原文地址&#xff1a;https://towardsdatascience.com/fine-tune-llama-3-with-orpo-56cfab2f9ada 更便宜、更快的统一微调技术 2024 年 4 月 19 日 ORPO 是一种新的令人兴奋的微调技术&#xff0c;它将传统的监督微调和偏好校准阶段合并为一个过程。这减少了训练所需的计算…

【深度学习】第二门课 改善深层神经网络 Week 2 3 优化算法、超参数调试和BN及其框架

&#x1f680;Write In Front&#x1f680; &#x1f4dd;个人主页&#xff1a;令夏二十三 &#x1f381;欢迎各位→点赞&#x1f44d; 收藏⭐️ 留言&#x1f4dd; &#x1f4e3;系列专栏&#xff1a;深度学习 &#x1f4ac;总结&#xff1a;希望你看完之后&#xff0c;能对…

python实现验证码-图片类型

1 utils.py import randomdef get_random_code():code for i in range(5):# 随机生成大写字母upper_char chr(random.randint(65, 90))lower_char chr(random.randint(97, 122))num_char str(random.randint(0, 9))res random.choice([upper_char, lower_char, num_char]…

002 validation自定义校验器

文章目录 pom.xmlValidatorUtil.javaIsMobileValidator.javaIsMobile.javaLoginVo.javaLoginController.java pom.xml <!-- 引入validation依赖,完成校验 --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-s…

软件应用开发安全设计指南

1.1 应用系统架构安全设计要求 设计时要充分考虑到系统架构的稳固性、可维护性和可扩展性&#xff0c;以确保系统在面对各种安全威胁时能够稳定运行。 在设计系统架构时&#xff0c;要充分考虑各种安全威胁&#xff0c;如DDoS攻击、SQL注入、跨站脚本攻击&#xff08;XSS&…

如何使用 Node.js 开发一个文件上传功能?

在 Node.js 中实现文件上传功能可以通过多种方式完成&#xff0c;但其中最常用的方法之一是使用 Express 框架和 Multer 中间件。Express 是一个流行的 Node.js Web 框架&#xff0c;而 Multer 是一个用于处理文件上传的中间件。 步骤 1: 准备工作 首先&#xff0c;确保你已经…

《Fundamentals of Power Electronics》——升压隔离型变换器、SEPIC隔离型变换器

以下是升压型隔离变换器的相关知识点&#xff1a; 升压型隔离变换器可以通过互换降压型隔离变换器的电源与负载的位置得到。升压型隔离变换器有许多种结构&#xff0c;此处简短的讨论两种情况。这些转换器主要使用在高压电源和低谐波整流器中。 图6.36所示是一种全桥型电路结…

第七十章 Apache (UNIX® Linux macOS) 的替代选项

文章目录 第七十章 Apache (UNIX Linux macOS) 的替代选项安装位置&#xff08;所有非典型选项&#xff09;使用 Apache API 模块的要求&#xff08;推荐选项和替代选项 1&#xff09; 第七十章 Apache (UNIX Linux macOS) 的替代选项 本页介绍了与 UNIX、Linux 和 macOS 上的…

【刷爆力扣之589-590. N叉树的前序遍历和后序遍历】

589&#xff1a;N叉树的前序遍历 这道题需要灵活的理解前序遍历的规则&#xff0c;从二叉树到N叉树&#xff0c;原则都是统一的&#xff0c;因此我们可以借鉴二叉树的前序遍历方式&#xff0c;使用递归以及迭代两种方式完成N叉树的前序遍历 方法一&#xff1a;递归 思路&…