分类算法-逻辑回归与二分类

1、逻辑回归的应用场景

  • 广告点击率
  • 是否为垃圾邮件
  • 是否患病
  • 金融诈骗
  • 虚假账号

看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器。

2、 逻辑回归的原理

2.1 输入

在这里插入图片描述
逻辑回归的输入就是一个线性回归的结果。

2.2 激活函数

  • sigmoid函数
    在这里插入图片描述
  • 分析
    • 回归的结果输入到sigmoid函数当中
    • 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）

输出结果解释(重要)：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.6，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

所以接下来我们回忆之前的线性回归预测结果我们用均方误差衡量，那如果对于逻辑回归，我们预测的结果不对该怎么去衡量这个损失呢？我们来看这样一张图
在这里插入图片描述
那么如何去衡量逻辑回归的预测结果与真实结果的差异呢？

2.3 损失以及优化

逻辑回归的损失，称之为对数似然损失，公式如下：

  • 分段函数：

在这里插入图片描述

y 代表真实值，h(x)代表预测值

怎么理解单个的式子呢？这个要根据log的函数图像来理解
在这里插入图片描述

由图像可以看出，当预测值h(x)等于1的时候，纵轴（损失值）就是0，即损失值最小，符合要求；

在这里插入图片描述

由图像可以看出，当预测值h(x)等于0的时候，纵轴（损失值）就是0，即损失值最小，符合要求；

  • 综合完整损失函数
    在这里插入图片描述
    接下来我们呢就带入上面那个例子来计算一遍，就能理解意义了。
    在这里插入图片描述

2.4 优化

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。

3、逻辑回归API

  • sklearn.linear_model.LogisticRegression(solver=‘liblinear’, penalty=‘l2’, C = 1.0)
    • solver:优化求解方式（默认开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数）
      • sag：根据数据集自动选择，随机平均梯度下降
    • penalty：正则化的种类
    • C：正则化力度

默认将类别数量少的当做正例

LogisticRegression方法相当于 SGDClassifier(loss=“log”, penalty=" "),SGDClassifier实现了一个普通的随机梯度下降学习，也支持平均随机梯度下降法（ASGD），可以通过设置average=True。而使用LogisticRegression(实现了SAG)

4、 案例：

通过学习时间，预测考试是否通过

5、分类的评估方法

5.1 精确率与召回率

5.1.1混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)
在这里插入图片描述

5.1.2 精确率(Precision)与召回率(Recall)
  • 精确率：预测结果为正例样本中真实为正例的比例（了解）
    在这里插入图片描述
  • 召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）
    在这里插入图片描述
    那么怎么更好理解这个两个概念
    在这里插入图片描述
    还有其他的评估标准，F1-score，反映了模型的稳健型

在这里插入图片描述

5.1.3 分类评估报告API
  • sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )
    • y_true：真实目标值
    • y_pred：估计器预测目标值
    • labels:指定类别对应的数字
    • target_names：目标类别名称
    • return：每个类别精确率与召回率

根据前面案例，得到结果：

print("精确率和召回率为：", classification_report(y_test, result, labels=[0, 1], target_names=['通过', '不及格']))

在这里插入图片描述

假设这样一个情况，如果99个样本癌症，1个样本非癌症，不管怎样我全都预测正例(默认癌症为正例),准确率就为99%但是这样效果并不好，这就是样本不均衡下的评估问题
问题：如何衡量样本不均衡下的评估？

5.2 ROC曲线与AUC指标

5.2.1 知道TPR与FPR
  • TPR = TP / (TP + FN)
    • 所有真实类别为1的样本中，预测类别为1的比例
  • FPR = FP / (FP + FN)
    • 所有真实类别为0的样本中，预测类别为1的比例
5.2.2 ROC曲线
  • ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5

在这里插入图片描述

5.2.3AUC指标
  • AUC的概率意义是随机取一对正负样本，正样本得分大于负样本的概率
  • AUC的最小值为0.5，最大值为1，取值越高越好
  • AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
  • 0.5<AUC<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

最终AUC的范围在[0.5, 1]之间，并且越接近1越好

5.2.4 AUC计算API
  • from sklearn.metrics import roc_auc_score
    • sklearn.metrics.roc_auc_score(y_true, y_score)
      • 计算ROC曲线面积，即AUC值
      • y_true:每个样本的真实类别，必须为0(反例),1(正例)标记
      • y_score:每个样本预测的概率值
print("AUC指标：", roc_auc_score(y_test, model.predict(X_test)))

在这里插入图片描述

5.2.5、总结
  • AUC只能用来评价二分类
  • AUC非常适合评价样本不平衡中的分类器性能

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/108912.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

HarmonyOS/OpenHarmony原生应用开发-华为Serverless服务支持情况（四）

HarmonyOS/OpenHarmony原生应用开发-华为Serverless服务支持情况（四）

文档中的TS作者认为就是ArkTS之意。 一、云存储 AppGallery Connect&#xff08;简称AGC&#xff09;云存储是一种可伸缩、免维护的云端存储服务&#xff0c;可用于存储图片、音频、视频或其他由用户生成的内容。借助云存储服务&#xff0c;您可以无需关心存储服务器的开发、…
阅读更多...
Python自动化运维实战——Telnetlib和Netmiko自动化管理网络设备

Python自动化运维实战——Telnetlib和Netmiko自动化管理网络设备

❤️博客主页&#xff1a; iknow181&#x1f525;系列专栏&#xff1a; Python、JavaSE、JavaWeb、CCNP&#x1f389;欢迎大家点赞&#x1f44d;收藏⭐评论✍ 目录 一、前言 二、准备工作 三、Telnetlib Telnetlib介绍 Telnetlib模块及操作方法介绍 Telnetlib配置设备 T…
阅读更多...
uniapp：使用subNVue原生子窗体在map上层添加自定义组件

uniapp：使用subNVue原生子窗体在map上层添加自定义组件

我们想要在地图上层添加自定义组件&#xff0c;比如一个数据提示框&#xff0c;点一下会展开&#xff0c;再点一下收起&#xff0c;在h5段显示正常&#xff0c;但是到app端真机测试发现组件显示不出来&#xff0c;这是因为map是内置原生组件&#xff0c;层级最高&#xff0c;自…
阅读更多...
从0开始编写BP，自适应学习率的BP神经网络，不使用MATLAB工具箱，纯手写matlab代码，以BP分类为例...

从0开始编写BP，自适应学习率的BP神经网络，不使用MATLAB工具箱，纯手写matlab代码，以BP分类为例...

与上篇文章不同&#xff0c;仔细读了上篇文章的小伙伴应该知道&#xff0c;BP神经网络是有一个学习率的&#xff0c;而这个学习率很大程度上决定着神经网络的效果。这里采用自适应学习率&#xff0c;实现纯手写BP神经网络。 编程时&#xff0c;激活函数选择Sigmoid函数&#xf…
阅读更多...
MFC-列表控件

MFC-列表控件

目录 1、更改列表控件的属性&#xff1a; 2、代码设置表头&#xff1a; 3、设置正文内容&#xff1a; 4、设置属性&#xff0c;显示成表格形式 &#xff1a; 5、代码实现&#xff1a; 1、更改列表控件的属性&#xff1a; VIEW设置为Report模式会出现表格形状 2、代码设置…
阅读更多...
二维码智慧门牌管理系统：高效标准化处理地址数据

二维码智慧门牌管理系统：高效标准化处理地址数据

文章目录 前言一、标准化数据的重要性二、标准检查与自动化处理三、人工修复与高效性四、数据应用与效益 前言 随着科技的快速发展&#xff0c;数据管理在现代社会中扮演着越来越重要的角色。为了提升数据质量&#xff0c;标准化检查成为必不可少的环节。今天&#xff0c;我们…
阅读更多...
软考系统架构设计师考试冲刺攻略

软考系统架构设计师考试冲刺攻略

系统架构冲刺攻略 上篇为综合知识&#xff0c;介绍了系统架构设计师应熟练掌握的基本知识&#xff0c;主要包括绪论、计算机系统、信息系统、信息安全技术、软件工程、数据库设计、系统架构设计、系统质量属性与架构评估、软件可靠性、软件架构的演化和维护、未来信息综合技术等…
阅读更多...
【面试经典150 | 区间】插入区间

【面试经典150 | 区间】插入区间

文章目录 Tag题目解读题目来源解题思路方法一&#xff1a;合并区间方法二&#xff1a;模拟 其他语言python3 写在最后 Tag 【模拟】【数组】 题目解读 给定一个含有多个无重叠区间的数组&#xff0c;并且数组已经按照区间开始值升序排序。在列表中插入一个新的区间&#xff0…
阅读更多...
小程序原生代码转uniapp

小程序原生代码转uniapp

写了一份小程序原生代码&#xff0c;想转为uniapp 再转为其他平台发布 1、在命令行里&#xff0c;运行【 npm install miniprogram-to-uniapp -g 】进行安装&#xff0c;因为这个包是工具&#xff0c;要求全局都能使用&#x…
阅读更多...
JS加密/解密之webpack打包代码逆向

JS加密/解密之webpack打包代码逆向

Webpack 是一个强大的打包工具&#xff0c;能够将多个文件打包成一个或多个最终的文件。然而&#xff0c;将已经经过打包的代码还原回原始源代码并不是一件直接的事情&#xff0c;因为 webpack 打包的过程通常会对代码进行压缩、混淆和优化&#xff0c;丢失了部分变量名和代码结…
阅读更多...
【C++11新特性】右值引用和移动语义（移动构造，移动赋值）

【C++11新特性】右值引用和移动语义（移动构造，移动赋值）

文章目录 前言一、列表初始化&#xff08;不同于初始化列表&#xff09;二、initializer_list三、decltype关键字四、nullptr五、右值引用移动拷贝和移动赋值被编译器识别成将亡值的原因 左值引用和右值引用的场景和价值右值引用的场景move函数 六、关于右值引用的功能和属性问…
阅读更多...
pinctrl子系统 - 架构和结构体关系（四）

pinctrl子系统 - 架构和结构体关系（四）

一&#xff0c;pinctrl的引入 由于SoC系统越来越复杂、集成度越来越高&#xff0c;SoC中pin的数量也越来越多、功能也越来越复杂&#xff0c;这就对如何管理、使用这些pins提出了挑战。因此&#xff0c;用于管理这些pins的硬件模块&#xff08;pin controller&#xff09;就出…
阅读更多...
c# xml 参数配置表的使用

c# xml 参数配置表的使用

使用简介 实际使用界面 配置表管理界面 进入 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Windows.Forms;…
阅读更多...
WebStorm安装教程

WebStorm安装教程

阅读更多...
用GDB调试程序的栈帧

用GDB调试程序的栈帧

2023年10月17日&#xff0c;周二晚上 目录 练习GDB栈帧调试功能的程序 GDB栈帧方面的指令 调试效果 练习GDB栈帧调试功能的程序 斐波那契数列 #include <iostream>int factorial(int n) {if (n < 1) {return 1;} else {return n * factorial(n - 1);} }int main(…
阅读更多...
Redis数据结构之listpack

Redis数据结构之listpack

前言 当数据量较小时&#xff0c;Redis 会优先考虑用 ziplist 来存储 hash、list、zset&#xff0c;这么做可以有效的节省内存空间&#xff0c;因为 ziplist 是一块连续的内存空间&#xff0c;它采用一种紧凑的方式来存储元素。但是它也有缺点&#xff0c;比如查找的时间复杂度…
阅读更多...
nginx基础概念

nginx基础概念

1.正向代理&#xff1a;代理的是客户端&#xff0c;一般有明确的访问对象 比如&#xff1a;我现在通过v-p-n去访问YouTube&#xff0c;那么就是正向代理。 2.反向代理&#xff1a;代理的是服务器 最常见的就是web中&#xff0c;nginx去代理一群后端的服务器。 3.负载均衡&…
阅读更多...
Flume 整合 Kafka

Flume 整合 Kafka

1.背景 先说一下，为什么要使用 Flume + Kafka？ 以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kaf…
阅读更多...
制造企业如何做好MES管理系统需求分析

制造企业如何做好MES管理系统需求分析

随着制造业的不断发展&#xff0c;制造企业对于生产过程的管理需求日益增长。为了提高生产效率和质量&#xff0c;越来越多的制造企业开始关注MES生产管理系统的需求分析。本文将从以下几个方面探讨制造企业如何做好MES管理系统需求分析。 一、明确需求 在进行MES管理系统需求…
阅读更多...
Vue 网络处理 - axios 异步请求的使用，请求响应拦截器

Vue 网络处理 - axios 异步请求的使用，请求响应拦截器

目录 一、axiox 1.1、axios 简介 1.2、axios 基本使用 1.2.1、下载核心 js 文件. 1.2.2、发送 GET 异步请求 1.2.3、发送 POST 异步请求 1.2.4、发送 GET、POST 请求最佳实践 1.3、请求响应拦截器 1.3.1、拦截器解释 1.3.2、请求拦截器的使用 1.3.3、响应拦截器的使用…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023