逻辑回归与正则化 逻辑回归、激活函数及其代价函数

逻辑回归、激活函数及其代价函数

线性回归的可行性

对分类算法,其输出结果y只有两种结果{0,1},分别表示负类和正类,代表没有目标和有目标。
在这种情况下,如果用传统的方法以线性拟合 ( h θ ( x ) = θ T X ) (h_θ (x)=θ^T X) hθ(x)=θTX对于得到的函数应当对y设置阈值a,高于a为一类,低于a为一类

对于分类方法,这种拟合的方式极易受到分散的数据集的影响而导致损失函数的变化,以至于对于特定的损失函数,其阈值的设定十分困难。

除此之外, h θ ( x ) h_θ (x) hθ(x)(在分类算法中称为分类器)的输出值很可能非常大或者非常小,并不与{0,1}完全相符

假设表示

基于上述情况,要使分类器的输出在[0,1]之间,可以采用假设表示的方法。
h θ ( x ) = g ( θ T x ) h_θ (x)=g(θ^T x) hθ(x)=g(θTx)
其中 g ( z ) = 1 ( 1 + e − z ) g(z)=\frac{1}{(1+e^{−z} )} g(z)=(1+ez)1, 称为逻辑函数(Sigmoid function,又称为激活函数,生物学上的S型曲线)
h θ ( x ) = 1 ( 1 + e − θ T X ) h_θ (x)=\frac{1}{(1+e^{−θ^T X} )} hθ(x)=(1+eθTX)1

其两条渐近线分别为h(x)=0和h(x)=1

在分类条件下,最终的输出结果是:
h θ ( x ) = P ( y = 1 │ x , θ ) h_θ (x)=P(y=1│x,θ) hθ(x)=P(y=1│x,θ)

其代表在给定x的条件下 其y=1的概率

P ( y = 1 │ x , θ ) + P ( y = 0 │ x , θ ) = 1 P(y=1│x,θ)+P(y=0│x,θ)=1 P(y=1│x,θ)+P(y=0│x,θ)=1

决策边界( Decision boundary)

对假设函数设定阈值 h ( x ) = 0.5 h(x)=0.5 h(x)=0.5
h ( x ) ≥ 0.5 h(x)≥0.5 h(x)0.5 时,输出结果y=1.

根据假设函数的性质,当 x ≥ 0 时, x≥0时, x0时,h(x)≥0.5
θ T x θ^T x θTx替换x,则当 θ T x ≥ 0 θ^T x≥0 θTx0时, h ( x ) ≥ 0.5 , y = 1 h(x)≥0.5,y=1 h(x)0.5y=1

解出 θ T x ≥ 0 θ^T x≥0 θTx0,其答案将会是一个在每一个 x i x_i xi轴上都有的不等式函数。

这个不等式函数将整个空间分成了y=1 和 y=0的两个部分,称之为决策边界

激活函数的代价函数

在线性回归中的代价函数:
J ( θ ) = 1 m ∑ i = 1 m 1 2 ( h θ ( x ( i ) ) − y ( i ) ) 2 J(θ)=\frac{1}{m}∑_{i=1}^m \frac{1}{2} (h_θ (x^{(i)} )−y^{(i)} )^2 J(θ)=m1i=1m21(hθ(x(i))y(i))2

C o s t ( h θ ( x ) , y ) = 1 2 ( h θ ( x ( i ) ) − y ( i ) ) 2 Cost(hθ (x),y)=\frac{1}{2}(h_θ (x^{(i)} )−y^{(i)} )^2 Costhθ(x)y=21(hθ(x(i))y(i))2
Cost是一个非凹函数,有许多的局部最小值,不利于使用梯度下降法。对于分类算法,设置其代价函数为:
J ( θ ) = − 1 m ∑ i = 1 m [ y ( i ) l o g ( h θ ( x ( i ) ) ) − ( 1 − y ( i ) ) ∗ l o g ( 1 − h θ ( x ( i ) ) ) ] J(θ)=-\frac{1}{m}∑_{i=1}^m [y^{(i)}log(h_θ (x^{(i)}) )−(1-y^{(i)})*log(1-h_θ (x^{(i)}))] J(θ)=m1i=1m[y(i)log(hθ(x(i)))(1y(i))log(1hθ(x(i)))]

对其化简:
C o s t ( h θ ( x ) , y ) = − y l o g ( h θ ( x ) ) − ( ( 1 − y ) l o g ⁡ ( 1 − h θ ( x ) ) ) Cost(h_θ (x),y)=−ylog(h_θ (x))−((1−y)log⁡(1−h_θ (x))) Costhθ(x),y=ylog(hθ(x))((1y)log(1hθ(x)))
检验:
y = 1 y=1 y=1时, − l o g ⁡ ( h θ ( x ) ) −log⁡(h_θ (x)) log(hθ(x))
y = 0 y=0 y=0时, − l o g ⁡ ( 1 − h θ ( x ) ) −log⁡(1−h_θ (x)) log(1hθ(x))

那么代价函数可以写成:
J ( θ ) = − 1 m [ ∑ i = 1 m y ( i ) l o g ⁡ ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ] J(θ)=-\frac{1}{m}[∑_{i=1}^m y^{(i)} log⁡(h_θ(x^{(i)} ))+(1−y^{(i)}) log(1−h_θ (x^{(i)}))] J(θ)=m1[i=1my(i)log(hθ(x(i)))+(1y(i))log(1hθ(x(i)))]

对于代价函数,采用梯度下降算法求θ的最小值:
θ j ≔ θ j − α ∂ J ( θ ) ∂ θ j θ_j≔θ_j−α\frac{∂J(θ)}{∂θ_j} θj:=θjαθjJ(θ)
代入梯度:
θ j ≔ θ j − α ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j i θ_j≔θ_j−α∑_{i=1}^m(h_θ (x^{(i)} )−y^{(i)} ) x_j^i θj:=θjαi=1m(hθ(x(i))y(i))xji

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/191347.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

医疗器械设备模组的具体应用

直线模组是一种高精度、高速度的精密传动元件,目前被广泛应用在各种工业自动化领域;尤其是在激光加工、电子制造、医疗设备、物流设备和机器人等行业中,都发挥着重要作用,接下来我们看看医疗器械设备模组的具体应用吧!…

多模块下MyBatis官方生成器

MyBatis官方生成器 1. 依赖插件 创建generator模块 在父模块中进行版本管理 <dependency><groupId>org.mybatis</groupId><artifactId>mybatis</artifactId><version>3.5.6</version> </dependency><dependency><g…

【探秘Python爬虫利器】Beautiful Soup 4库详解

大家好&#xff0c;欢迎阅读本文&#xff0c;今天我们将介绍Python中一款强大的爬虫库——Beautiful Soup 4&#xff08;以下简称bs4&#xff09;。作为网络爬虫的重要工具之一&#xff0c;bs4库能够方便地解析HTML和XML文档&#xff0c;提供了丰富的API和便捷的方法&#xff0…

Swin Transformer实战图像分类(Windows下,无需用到Conda,亲测有效)

目录 前言 一、从官网拿到源码&#xff0c;然后配置自己缺少的环境。 针对可能遇到的错误&#xff1a; 二、数据集获取与处理 2.1 数据集下载 2.2 数据集处理 三、下载预训练权重 四、修改部分参数配置 4.1 修改config.py 4.2 修改build.py 4.3 修改units.py 4.4 修…

Linux 基础认识

文章目录 前言Linux历史window历史Linux地位发行版本 前言 建议只看概述 Linux历史 概述&#xff1a; 由一个研究生受Minix操作系统启发编写的&#xff0c;因为功能实用&#xff0c;代码开源被世界人接收和开发 &#xff0c;最终正式发布 。 详情&#xff1a; 1991年10月5日…

Dynamo学习使用的网站

Revit二次开发看过的视频 小火车 &#xff08;免费&#xff09;小火车&#xff1a;Revit二次开发教程视频教程-腿腿教学网 现在B站上很多&#xff0c;搜索都能看 Dynamo视频 Dynamo之Python编程视频教学_dynamo python-CSDN博客 Revit API Docs www.revitapidocs.com 菜…

模式识别与机器学习(七):集成学习

集成学习 1.概念1.1 类型1.2 集成策略1.3 优势 2. 代码实例2.1boosting2.2 bagging2.3 集成 1.概念 集成学习是一种机器学习方法&#xff0c;旨在通过组合多个个体学习器的预测结果来提高整体的预测性能。它通过将多个弱学习器&#xff08;个体学习器&#xff09;组合成一个强学…

docker安装卸载使用全教程

docker安装卸载使用全教程 1.确定你是Centos7及以上版本 cat /etc/redhat-release2.yum安装gcc相关依赖 yum install -y gcc Yum install -y gcc-c3.安装需要的软件包 sudo yum install -y yum-utils4.设置stable镜像仓库 这里设置的是国内阿里云的镜像库&#xff0c;国外的…

四川成都数字创新大赛-1

目录 项目大而全,投资较大,怎么运维 农产品滞销问题是一个复杂的问题 数字人防

c# 使用自写命令来一键控制无线和本地网络的开启关闭

程序需要用管理员的身份运行&#xff0c;使用WMI&#xff08;Windows Management Instrumentation&#xff09; 使用ManagementObjectSearcher对象获取适配器信息使用ManagementObject的InvokeMethod方法执行相应操作 static void Main(string[] args){Console.ForegroundColo…

SQL Server 2016(为数据表Porducts添加数据)

1、实验环境。 某公司有一台已经安装了SQL Server 2016的服务器&#xff0c;并已经创建了数据库PM。 2、需求描述。 在数据库PM中创建表products&#xff0c;"编号"列的值自动增长并为主键。然后使用T-SQL语句为表格插入如下数据。 3、实验步骤。 1、使用SSMS管理工…

每日一练:阿姆斯特朗数

如果一个 n 位正整数等于其各位数字的 n 次方之和&#xff0c;则称该数为阿姆斯特朗数。 例如 1^3 5^3 3^3 153。 1000 以内的阿姆斯特朗数&#xff1a; 1, 2, 3, 4, 5, 6, 7, 8, 9, 153, 370, 371, 407。

欧洲各国及发达国家经济支柱和第一出口商品是什么

工业在欧洲各国经济支柱中的表现 一般发达国家&#xff0c;像西欧的国家第三产业即服务业占GDP70%甚至更高&#xff0c;从业人数比重也最大&#xff0c;只是越发达的国家服务业的知识性和科技含量会更高&#xff0c;如商业咨询、律师、医疗卫生、科技服务、商业服务。服务业的…

PVE系列-CT容器安装openwrt X86的极简方法

下载推荐&#xff1a;https://openwrt.ai/ 使用环境PVE8.0&#xff0c;openwrt是以上网址的最新版&#xff0c;内涵及其丰富组件。 问题来源&#xff1a; 在PVE虚拟机可以很方便的使用img文件&#xff0c;转换qm 成一个硬盘文件&#xff0c;加入到虚拟机也就完成了&#xff0c…

开门见山,带你了解Python后的大背景

目录 一、什么是 Python 二、起源 三、 特点 1、高级 2、面向对象 3、可升

jQuery的使用

目录 jquery对象&#xff1a; jquery作为一般函数调用参数: jquery事件机制 jquery dom操作 jquery对象&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" cont…

Linux下配置邮箱客户端MUTT,整合msmtp + procmail + fetchmail

一、背景 在向 Linux kernel 社区提交patch补丁步骤总结&#xff08;已验证成功&#xff09;_kernel补丁-CSDN博客文章中提到如何向kernel社区以及其他类似如qemu、libvirt社区提交patch的详细步骤&#xff0c;但还有一点不足的是通过git send-email这种方法基本是只能发送patc…

七、三台虚拟机JDK环境安装

目录 1、在三台机器上分别创建安装目录

Ext4文件系统解析(二)

1、前言 想要了解EXT文件系统的工作原理&#xff0c;那了解文件系统在磁盘上的分布就是必不可少的。这一节主要介绍EXT文件系统硬盘存储的物理结构。 由于当前主流的CPU架构均采用小端模式&#xff0c;因此下文介绍均已小端模式为准。 2、超级块 2.1 属性 下表列举出超级块…

Unity Canvas、Canvas Scaler、Graphic Raycaster、EventSystem 组件详解

文章目录 0. 参考文章1. Canvas1.1 Screen Space-Overlay —— 屏幕空间覆盖模式1.2 Screen Space-Camera —— 相机模式1.3 World Space —— 世界模式 2. Canvas Scaler&#xff1a;控制UI画布的放大缩放的比例2.1 Constant Pixer Size —— 恒定像素2.2 Scale With Screen S…