2 逻辑斯蒂回归(分类)

目录

 

1 理论

        逻辑回归假设数据服从伯努利分布(二分类),通过极大化似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的。        

        逻辑斯蒂回归(Logistic Regression)是一种用于解决分类问题的线性模型。尽管名字中包含“回归”一词,但逻辑斯蒂回归实际上用于处理分类问题,特别是二分类问题。

        逻辑斯蒂回归通过将线性回归模型的输出通过一个逻辑斯蒂函数(Logistic Function)进行转换,将连续的预测值映射到 0 到 1 之间的概率值。

2 求解

2.1 二分类形式

二项逻辑斯蒂回归模型是如下条件概率分布:

                           

应用极大似然估计法估计模型参数:

                  

2.2 梯度下降

如何训练呢?梯度下降法。

\sigma (x) = \frac{1}{1+exp(-x)}\\ \\ {\sigma (x)}' = {\sigma (x)}(1-{\sigma (x)}) \\ \\

那么,l(w). 把\sigma (x)代入进去:

l(w) = \sum [y_ilog\sigma(wx_i) +(1-y_i)log(1-\sigma (wx_i)]

3 面试

逻辑回归的优缺点总结。

优点:

  • 形式简单,模型的可解释性非常好。从特征的权重可以看到不同的特征对最后结果的影响,某个特征的权重值比较高,那么这个特征最后对结果的影响会比较大。
  • 模型效果不错。在工程上是可以接受的(作为baseline),如果特征工程做的好,效果不会太差,并且特征工程可以大家并行开发,大大加快开发的速度。
  • 训练速度较快。分类的时候,计算量仅仅只和特征的数目相关。并且逻辑回归的分布式优化sgd发展比较成熟,训练的速度可以通过堆机器进一步提高,这样我们可以在短时间内迭代好几个版本的模型。
  • 资源占用小,尤其是内存。因为只需要存储各个维度的特征值,。
  • 方便输出结果调整。逻辑回归可以很方便的得到最后的分类结果,因为输出的是每个样本的概率分数,我们可以很容易的对这些概率分数进行cutoff,也就是划分阈值(大于某个阈值的是一类,小于某个阈值的是一类)。

缺点:

  • 准确率并不是很高。因为形式非常的简单(非常类似线性模型),很难去拟合数据的真实分布。
  • 很难处理数据不平衡的问题。举个例子:如果我们对于一个正负样本非常不平衡的问题比如正负样本比 10000:1.我们把所有样本都预测为正也能使损失函数的值比较小。但是作为一个分类器,它对正负样本的区分能力不会很好。
  • 处理非线性数据较麻烦。逻辑回归在不引入其他方法的情况下,只能处理线性可分的数据,或者进一步说,处理二分类的问题 。
  • 逻辑回归本身无法筛选特征。有时候,我们会用gbdt来筛选特征,然后再上逻辑回归。

ref统计学习方法笔记与习题解答(Chapter6)(一)_统计学习方法 第六章习题-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/986.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

esp32-通过wifi使用timelib库同步时间(三)

库的安装 本文基于platformIO,安装较为简单如下图 实例代码 完整代码如下,如果时间获取超时请使用time1.aliyun.com获取时间。 /** Time_NTP.pde* Example showing time sync to NTP time source** This sketch uses the Ethernet library*/#include …

Kafka入门介绍+集群部署+简单使用

Kafka入门介绍集群部署简单使用 简介核心概念Broker(服务节点/实例)Producer(生产者)Topic(主题)Partition(分区)Consumer(消费者)和Consumer Group&#xff…

shell 脚本常用 逻辑判断符 与 || 或 ! 非

shell 脚本常用 逻辑判断符 文章目录 1、&& 逻辑与2、|| 逻辑或3、! 逻辑非 – 1、&& 逻辑与 只有两个都是真,结果才是真 如果第一个式子为false,则不会执行后面 2、|| 逻辑或 一真则真 如果左端为真,则右端不需要再进行…

超级好用的C++实用库之字节流解析器

概述 字节流解析器是一种软件组件,它负责将接收到的原始二进制数据(字节流)转换为有意义的信息结构或格式。在计算机网络、文件处理和数据通信中,字节流是最基本的数据传输形式,但这些原始字节对于应用程序通常是没有直…

对组合模式的理解

目录 一、场景1、题目描述 【[案例来源](https://kamacoder.com/problempage.php?pid1090)】2、输入描述3、输出描述4、输入示例5、输出示例 二、实现(假的组合模式)1、代码2、为什么上面的写法是假的组合模式? 三、实现(真的组合…

文本生成任务的评价方法BLEU 和 ROUGE

BLEU 是 2002 年提出的,而 ROUGE 是 2003 年提出的。这两种指标虽然存在着一些问题,但是仍然是比较主流的评价指标。 BLUE BLEU 的全称是 Bilingual evaluation understudy,BLEU 的分数取值范围是 0~1,分数越接近1&a…

使用new 关键字调用函数,创建对象的过程中做了什么

使用new 关键字调用函数,创建对象的过程中做了什么 使用 new关键字创建对象的过程大致可以分为以下几个步骤: 创建空对象:首先,new操作符会创建一个空对象,这个对象的隐式原型__proto__属性会被设置为构造函数的显示原…

YOLOv9改进策略 | 细节创新篇 | 迭代注意力特征融合AFF机制创新RepNCSPELAN4

一、本文介绍 本文给大家带来的改进机制是AFF(迭代注意力特征融合),其主要思想是通过改善特征融合过程来提高检测精度。传统的特征融合方法如加法或串联简单,未考虑到特定对象的融合适用性。iAFF通过引入多尺度通道注意力模块(我…

搭建vue3组件库(一):Monorepo项目搭建

Monorepo Monorepo 是一种项目代码管理方式,指单个仓库中管理多个项目,有助于简化代码共享、版本控制、构建和部署等方面的复杂性,并提供更好的可重用性和协作性。 pnpm pnpm 全称 performant npm,意思为 高性能的 npm。pnpm 由…

mysql面试题六(视图,存储过程,触发器)

目录 1.什么是视图 视图的特点 视图的创建与使用 视图的用途与优势 注意事项 2.什么是存储过程 存储过程的特点 存储过程的创建与调用 存储过程的使用场景 注意事项 3.什么是触发器 触发器的特点 触发器的创建与管理 触发器的使用场景 注意事项 1.什么是视图 在…

算法打卡day52|单调栈篇03| 84.柱状图中最大的矩形

算法题 Leetcode 84.柱状图中最大的矩形 题目链接:84.柱状图中最大的矩形 大佬视频讲解:84.柱状图中最大的矩形视频讲解 个人思路 这题和接雨水是相似的题目,原理上基本相同,也是可以用双指针和单调栈解决,只是有些细节不同。…

深度学习之目标检测从入门到精通——json转yolo格式

记录点: import json import osname2id {person:0,helmet:1,Fire extinguisher:2,Hook:3,Gas cylinder:4}def convert(img_size, box):dw 1./(img_size[0])dh 1./(img_size[1])x (box[0] box[2])/2.0 - 1y (box[1] box[3])/2.0 - 1w box[2] - box[0]h box…

23种设计模式之行为模式篇

三、行为模式 这类模式主要关注对象之间的通信,尤其是它们之间进行通信的方式和时机。 包括: 策略模式(Strategy)模板方法模式(Template Method)观察者模式(Observer)迭代器模式&…

jtop安装

一、安装依赖环境 sudo apt-get install git cmake sudo apt-get install python3-dev sudo apt-get install libhdf5-serial-dev hdf5-tools sudo apt-get install libatlas-base-dev gfortran二、pip3安装 sudo apt-get update sudo apt-get upgrade sudo apt-get install …

「High Cry」Solution

简述题意 给定长度为 n n n 的数组 n n n,求出有多少个区间满足区间或大于区间最大值。 n ≤ 2 1 0 5 n \le 2 \times 10^5 n≤2105 思路 从区间入手肯定不好做,考虑从最大值入手。 注意到一个区间,其肯定有一个最大值 a i a_i ai​&…

【rust简单工具理解】

1.map方法 map这个闭包的本质就是映射 let numbers vec![1, 2, 3, 4, 5]; let numbers_f64: Vec<f64> numbers.into_iter().map(|&x| x as f64).collect(); println!("{:?}", numbers_f64); // 输出: [1.0, 2.0, 3.0, 4.0, 5.0]2.and_then and_then …

锦瑟香也MYLOVE:音质与颜值俱佳,入坑HiFi的热门好物!

当下尽管无线耳机大行其道&#xff0c;但有线耳机依旧保有其独特的魅力&#xff0c;特别是在音质表现上&#xff0c;它们拥有无线耳机难以企及的优势。如果对音质要求很高的话&#xff0c;口袋里还是少不了一副有线耳机。国产品牌中就有许多性价比高的有线耳机&#xff0c;它们…

Django admin后台添加自定义菜单和功能页面

django admin是根据注册的模型来动态生成菜单&#xff0c;从这个思路出发&#xff0c;如果想添加自定义菜单&#xff0c;那就创建一个空模型并且注册。步骤如下&#xff1a; 1、创建空模型&#xff1a; class ResetSVNAuthFileModel(models.Model):"""仅用来显…

学习 Rust 的第五天:了解程序的基本控制流程

大家好呀 欢迎来到这个学习 Rust 的 30 天系列的第五天&#xff0c;今天我们将深入了解 Rust 中的控制流。 控制流&#xff0c;顾名思义&#xff0c;根据条件来 控制程序的流程。 If 表达式 当你想要在满足条件时执行一段代码块时&#xff0c;可以使用 if 表达式。 示例 …

菜鸟Java基础教程 9.Java 循环结构

Java 循环结构 - for, while 及 do…while Java循环结构 Java 循环结构 - for, while 及 do...while1. while 循环实例Test.java 文件代码&#xff1a; 2. do…while 循环实例Test.java 文件代码&#xff1a; 3. for循环实例Test.java 文件代码&#xff1a; 4. Java 增强 for 循…