分类模型——逻辑回归和Fisher线性判别分析

个人学习笔记,课程为数学建模清风付费课程

目录

一、引例

二、逻辑回归

2.1线性概率模型

2.2Fisher线性判别分析 

2.3两点分布(伯努利分布)

2.4连接函数的取法 

2.5如何求解 

2.6如何用于分类 

三、SPSS 

3.1二元分类

3.1.1逻辑回归

3.1.1.1预测成功率

3.1.1.2逻辑回归系数表

3.1.1.3表格中新添的两列解读

3.1.1.4逐步回归的设置 

3.1.1.5假如自变量有分类变量怎么办? 

3.1.1.6预测结果较差怎么办?

3.1.1.7加入了平方项后的结果

3.1.1.8过拟合现象 

3.1.2如何确定合适的模型 

3.1.3Fisher线性判别分析 

3.2多元分类

3.2.1逻辑回归

3.2.2Fisher线性判别分析 

四、课后作业

4.1题目

4.2参考答案

4.2.1第一步

​4.2.2第二步

4.2.3第三步

4.2.4结果分析

五、课后思考


一、引例

 二、逻辑回归

2.1线性概率模型

线性概率模型( Linear Probability Model ,简记 LPM
直接用原来的回归模型进行回归。

2.2Fisher线性判别分析 

LDA(Linear Discriminant Analysis) 是一种经典的线性判别方法,又称 Fisher 判别分析。该方法思想比较简单: 给定训练集样例,设法将样例投影到一维的直线上,使得同类样例的投影点尽可能接近和密集,异类投影点尽可能远离。

 详细证明和求解步骤:https://www.bilibili.com/video/av33101528/?p=3

 

2.3两点分布(伯努利分布)

 

2.4连接函数的取法 

f1=@(x) normcdf(x);  % 标准正态分布的累积分布函数 
fplot(f1, [-4,4]);  % 在-4到4上画出函数f1的图形
hold on;  % 不关闭作图窗口
grid on;   % 显示网格线
f2=@(x) exp(x)./(1+exp(x));  % Sigmoid函数
fplot(f2, [-4,4]);  % 在-4到4上画出函数f2的图形
legend('标准正态分布的cdf','sigmoid函数','location','SouthEast')

2.5如何求解 

逻辑回归的推导: https://www.bilibili.com/video/BV1aE411o7qd?p=17
极大似然估计:大家可参考概率论与数理统计的教材,或搜索相应视频学习

2.6如何用于分类 

三、SPSS 

3.1二元分类

3.1.1逻辑回归

3.1.1.1预测成功率

 

3.1.1.2逻辑回归系数表

 

3.1.1.3表格中新添的两列解读

 

3.1.1.4逐步回归的设置 

3.1.1.5假如自变量有分类变量怎么办? 

两种方法
1 )先创建虚拟变量,然后删除任意一列以排除完全多重共线性的影响;
2 )直接点击分类,然后定义分类协变量, Spss 会自动帮我们生成。
(如果没有生成虚拟变量这个选项,则说明 SPSS 没有安装到默认位置)
3.1.1.6预测结果较差怎么办?

可在logistic回归模型中加入平方项、交互项等。

 3.1.1.7加入了平方项后的结果

3.1.1.8过拟合现象 

3.1.2如何确定合适的模型 

把数据分为 训练组 测试组 ,用训练组的数据来估计出模型,再用测试组的数据来进行测试。(训练组和测试组的比例一般设置为80% 20%)


3.1.3Fisher线性判别分析 

结果分析 

3.2多元分类

3.2.1逻辑回归

将连接函数: Sigmoid 函数 推广为 Softmax 函数
https://www.cnblogs.com/bonelee/p/8127411.html
https://blog.csdn.net/Gamer_gyt/article/details/85209496

 

注意,这里要将几个自变量放到协变量中,视频里面的操作放到了上面的 因子中是不正确的,但后续的分析思路完全相同。
补充: Spss 中因子和协变量的区别
因子指分类型变量,例如性别、学历等
协变量指连续型变量,例如面积、重量等。

 

结果说明

 

3.2.2Fisher线性判别分析 

https://blog.csdn.net/z962013489/article/details/79918758

注意:这里SPSS不能自动帮我们生成虚拟变量,我们可以在EXCEL表中使用“替换”功能来快速生成虚拟变量。 

结果

 

四、课后作业

4.1题目

4.2参考答案

4.2.1第一步

使用替换功能将三种鸢尾花种类名称替换为123的数字

4.2.2第二步

将替换后的数据保存,导入到spss中

另外,如果导入 excel 数据文件比较卡的话,可以先将数据另存为 csv 件,然后再使用 SPSS 的导入 csv 数据的功能。

4.2.3第三步

以多元逻辑回归为例

4.2.4结果分析



 五、课后思考

清风老师的机器学习课程中有更厉害的分类模型,比如决策树、随机森林、SVM ,欢迎大家去观看!
https://www.bilibili.com/video/BV1v64y1B7vJ

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/51004.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL内如何改变编码格式

查找数据库的编码格式&#xff1a; show variables like character%;具体内容时这些 在创建表时设定编码格式&#xff1a; create database <要创建的数据库的名字> charset utf8; 修改数据库默认编码&#xff1a; set character_set_databaseutf8mb4; character_…

eclipse ui bug

eclipse ui bug界面缺陷&#xff0c;可能项目过多&#xff0c;特别maven项目过多&#xff0c;下载&#xff0c;自动编译&#xff0c;加载更新界面异常 所有窗口死活Restore不回去了 1&#xff09;尝试创建项目&#xff0c;还原界面&#xff0c;失败 2&#xff09;关闭所有窗口&…

Vue.js 搭建大屏可视化项目

引言 在数字化转型的时代背景下&#xff0c;大屏可视化项目因其直观的数据展示和实时的业务监控能力而变得日益重要。Vue.js&#xff0c;以其简洁的语法、高效的虚拟DOM和强大的组件化能力&#xff0c;成为了构建大屏可视化应用的首选框架之一。本文将从零开始&#xff0c;引导…

Springboot @Validate @Valid 基于复杂嵌套对象的参数校验示例

Springboot Validate Valid 基于复杂嵌套对象的参数校验示例 复杂对象 Data public class Object1 {Length(max 50,message "长度不能超过50位字符")NotBlank(message "名称不能为空")private String name;NotNull(message "不能为空")pri…

将TP5链接导入笔影个人博客代码

首先第一步&#xff0c;打开界面 第二步&#xff0c;这里卡住了&#xff0c;无法看到源代码&#xff0c;我们使用其他软件看看源代码 调试乱码&#xff0c;因为没有找到相应的笔影个人博客源码。源码在桌面上。询问百度&#xff0c;说了有的没的一大堆。 尝试的结果就是失败…

时间复杂度与O(n)

文章目录 1 复杂度分析1.1 时间复杂度1.1.1 循环执行次数1.1.2 大O(n)表示法 1.2 空间复杂度 1 复杂度分析 1.1 时间复杂度 ​ 时间复杂度用来表示算法运行时间的长短&#xff0c;用来定性的描述程序的运行时间。要了解时间复杂度&#xff0c;我们需要先了解程序执行的次数。…

机器学习(二十二):精度和召回率

一、倾斜数据集 倾斜数据集&#xff1a;一个数据集中的正面和负面例子的比例非常不平衡&#xff0c;比如数据集中&#xff0c;结果为1的占比20%&#xff0c;结果为0的占比80% 例子&#xff1a;如果数据集的结果中只有0.5%是1&#xff0c;其余结果是0。有一个模型的预测准确度…

【elasticsearch实现词重复,文档长度不影响匹配度】

elasticsearch实现词重复&#xff0c;文档长度不影响匹配度 前言BM25&#xff08;默认&#xff09;索引重建 前言 搜索场景要求&#xff1a; 关键词重复出现不影响匹配度【默认重复匹配度会提高】记录的文档长度不影响匹配度【默认文档越短&#xff0c;匹配度越高】 BM25&am…

【信创】udisk2服务异常导致U盘使用中自动移除问题解决

原文链接&#xff1a;【信创】udisk2服务异常导致U盘使用中自动移除问题解决 Hello&#xff0c;大家好啊&#xff01;今天给大家带来一篇关于在信创终端操作系统上由于udisk2服务异常导致U盘等移动设备在使用中自动移除问题的排查文章。udisk2是一个管理存储设备的服务&#xf…

restTemplate实现http远程调用

import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.web.client.RestTemplate; /*** description 将RestTemplate注入到容器当中&#xff0c;让他保持单例&#xff0c;当我们哪个…

树莓派下,docker中安装部署TensorFlow java版本

在树莓派上安装和部署TensorFlow Java版本需要一些特定的步骤,尤其是当你打算使用Docker容器来运行它时。以下是详细的步骤,帮助你在树莓派上完成这一任务。 一、准备工作 确保你的树莓派操作系统已更新,并安装了Docker。如果尚未安装,使用以下命令进行安装和更新: sud…

C++学习第四天

文章目录 1. 存储变量值的内存2. 声明并初始化指针3.引用运算符4. 解除引用运算符 1. 存储变量值的内存 /* - 指针是一个变量&#xff0c;与所有变量一样&#xff0c;指针也占用内存空间- 指针的特殊之处在于&#xff0c;指针包含的值&#xff08;这里为0x558&#xff09;被解…

【计算机网络】OSPF单区域实验

一&#xff1a;实验目的 1&#xff1a;掌握在路由器上配置OSPF单区域。 2&#xff1a;学习OSPF协议的原理&#xff0c;及其网络拓扑结构改变后的变化。 二&#xff1a;实验仪器设备及软件 硬件&#xff1a;RCMS交换机、网线、内网网卡接口、Windows 2019操作系统的计算机等。…

Vue 3 实现左侧列表点击跳转滚动到右侧对应区域的功能

使用 Vue 3 实现左侧列表点击跳转到右侧对应区域的功能 1. 引言 在这篇博客中&#xff0c;我们将展示如何使用 Vue 3 实现一个简单的页面布局&#xff0c;其中左侧是一个列表&#xff0c;点击列表项时&#xff0c;右侧会平滑滚动到对应的内容区域。这种布局在很多应用场景中都…

Llama 3.1 405B 详解

2024 年 7 月 23 日星期二&#xff0c;Meta 宣布推出 Llama 3.1&#xff0c;这是其Llama 系列大型语言模型 (LLM)的最新版本。虽然只是对 Llama 3 模型进行小幅更新&#xff0c;但它特别引入了Llama 3.1 405B——一个 4050 亿参数的模型&#xff0c;这是迄今为止世界上最大的开…

力扣刷题录——链表

一、移除链表元素 移除链表元素 法一&#xff1a;不使用虚拟头节点 ListNode* removeElements(ListNode* head, int val) {//若删除头节点while(head!NULL&&head->valval)//连续删除头节点的条件{headhead->next;} //删除其他节点&#xff08;先判断是不是空链…

【Qt 关于信号和槽 的参数类型和参数顺序关系】

前言&#xff1a;信号的参数类型和参数顺序一定要严格要求并且指明&#xff08;特别是当同一信号会发出不同参数类型和顺序的信号时&#xff09;&#xff0c;槽会根据参数类型和参数顺序进行匹配相应的槽函数&#xff0c;期间槽函数的自动类型匹配也可以生效。 信号定义&#x…

运行ruoyi

nacos 数据库配置 修改nacos/conf/application.properties 单机版运行 startup.cmd -m standalone redis 运行后端 运行gateway,auth,modules/system模块 可能遇到的问题&#xff1a;端口正在使用 解决 netstat -ano | findstr 9200 taskkill -pid 18284 -f

JAVA同城圈子达人交友系统源码支持微信小程序+公众号+H5+APP

&#x1f308; 同城圈子达人交友系统&#xff0c;遇见志同道合的TA&#xff01; &#x1f389; 开篇&#xff1a;告别孤单&#xff0c;同城圈子等你来探索&#xff01; 在这个快节奏的城市生活中&#xff0c;你是否常常感到孤独&#xff0c;渴望找到一群志同道合的朋友&#…

发现洗白的公开伎俩

利益方把事件A和事件B放在一起&#xff0c;事件A和事件B有明显逻辑冲突&#xff0c;故意把A和B在一起炒大。一段时间就有人利用逻辑冲突来故意辟谣&#xff0c;把事件真实全部否定&#xff0c;达到舆论上既没有做A或其相关事项&#xff0c;也没有做B或其相关事项的目的&#xf…