机器学习:基于梯度下降算法的逻辑回归实现和原理解析

这里写目录标题

  • 什么是逻辑回归?
    • Sigmoid函数
    • 逻辑回归
    • 损失函数
    • 梯度下降
  • 逻辑回归定义
    • 逻辑函数
    • 线性组合
    • 模型训练
    • 决策边界
  • 了解逻辑回归:从原理到实现
    • 什么是逻辑回归?
    • 逻辑回归的原理
    • 逻辑回归的实现
    • 逻辑回归的应用
    • 代码示例
    • 算法可视化

当涉及到二元分类问题时,逻辑回归是一种常用的机器学习算法。它不仅简单而且有效,通常是入门机器学习领域的第一步。本文将介绍逻辑回归的基本概念、原理、应用场景和代码示例。
在这里插入图片描述

什么是逻辑回归?

逻辑回归是一种用于解决二元分类问题的统计学习方法。尽管其名称中包含"回归"一词,但实际上它是一种分类算法。逻辑回归的目标是预测输入变量与某个特定类别相关联的概率。

在逻辑回归中,我们使用一个称为Sigmoid函数的特殊函数来执行这种概率预测。Sigmoid函数的形状类似于"S"型曲线,它将输入的线性组合映射到0到1之间的概率值。

Sigmoid函数

Sigmoid函数的数学表达式如下:
在这里插入图片描述

其中,
z z z 表示输入的线性组合。Sigmoid函数的输出范围在0到1之间,这使得它非常适合用于表示概率。

逻辑回归

在这里插入图片描述

损失函数

在这里插入图片描述

梯度下降

在这里插入图片描述

逻辑回归定义

逻辑函数

逻辑回归使用一种称为逻辑函数(Logistic Function)或S形函数(Sigmoid Function)的函数来建模数据点属于正类别的概率。逻辑函数的数学表示如下:

P ( Y = 1 ∣ X ) = 1 1 + e − z P(Y=1|X) = \frac{1}{1 + e^{-z}} P(Y=1∣X)=1+ez1

其中, P ( Y = 1 ∣ X ) P(Y=1|X) P(Y=1∣X) 表示给定输入 X X X 条件下数据点属于正类别的概率, z z z 是输入特征的线性组合。这个概率值范围在0到1之间,它表示数据点属于正类别的可能性。

线性组合

在逻辑回归中,我们将输入特征的线性组合表示为 z z z

z = θ 0 + θ 1 X 1 + θ 2 X 2 + … + θ n X n z = \theta_0 + \theta_1X_1 + \theta_2X_2 + \ldots + \theta_nX_n z=θ0+θ1X1+θ2X2++θnXn

其中, θ i \theta_i θi 是模型的参数, X i X_i Xi 是输入特征。这个线性组合表示了数据点属于正类别的“原始分数”。

模型训练

逻辑回归的目标是找到最佳的参数 θ \theta θ,使模型能够最好地拟合训练数据并进行准确的分类。为了实现这一点,我们通常使用最大似然估计(Maximum Likelihood Estimation,简称MLE)来估计参数 θ \theta θ

MLE的目标是最大化在给定参数 θ \theta θ 下观察到训练数据的概率。通过最大化这个概率,我们使模型更可能产生观察到的训练数据,从而提高了模型的性能。

决策边界

一旦模型训练完成并找到最佳参数 θ \theta θ,我们就可以使用逻辑函数来进行分类。通常,我们会将概率值大于0.5的数据点分为正类别,概率值小于0.5的数据点分为负类别。这个概率阈值通常是可调的。

逻辑回归的决策边界是一个超平面,它将特征空间分成两个区域,每个区域对应一个类别。这个超平面的位置取决于参数 θ \theta θ

了解逻辑回归:从原理到实现

逻辑回归是一种常用于分类问题的机器学习算法。它具有简单的原理和实现,同时在各种应用中都有广泛的用途。在本篇博客中,我们将深入了解逻辑回归,包括其原理、实现和应用。

什么是逻辑回归?

逻辑回归是一种二分类算法,用于将输入数据分为两个类别,通常是正类别和负类别。尽管其名称中包含“回归”,但它实际上是一个分类算法,用于估计输入数据属于某一类别的概率。

逻辑回归的原理

逻辑回归的核心思想是使用S形函数(也称为逻辑函数)来建模输入特征和目标类别之间的关系。逻辑函数将输入映射到0到1之间的概率值,表示样本属于正类别的概率。其数学表示如下:

P ( Y = 1 ∣ X ) = 1 1 + e − z P(Y=1|X) = \frac{1}{1 + e^{-z}} P(Y=1∣X)=1+ez1

其中, P ( Y = 1 ∣ X ) P(Y=1|X) P(Y=1∣X) 表示给定输入 X X X 条件下样本属于正类别的概率, z z z 是线性组合的结果,通常表示为:

z = θ 0 + θ 1 X 1 + θ 2 X 2 + … + θ n X n z = \theta_0 + \theta_1X_1 + \theta_2X_2 + \ldots + \theta_nX_n z=θ0+θ1X1+θ2X2++θnXn

其中, θ i \theta_i θi 是模型的参数, X i X_i Xi 是输入特征。

逻辑回归的实现

逻辑回归的实现通常包括以下步骤:

  1. 收集和准备数据:收集样本数据,并对数据进行预处理和特征工程。

  2. 定义模型:选择逻辑回归作为模型,并初始化模型参数。

  3. 训练模型:使用训练数据集,通过最大似然估计等方法来估计模型参数。

  4. 预测和评估:使用训练好的模型对新数据进行预测,并评估模型性能。

  5. 超参数调优:根据性能指标调整模型的超参数,如学习率和正则化参数。

逻辑回归的应用

逻辑回归在许多领域都有广泛的应用,包括:

  • 医学:用于疾病诊断和预测患者风险。

  • 金融:用于信用评分和欺诈检测。

  • 自然语言处理:用于文本分类和情感分析。

  • 网络安全:用于入侵检测和威胁分析。

代码示例

以下是使用Python和Scikit-Learn库实现的简单逻辑回归代码示例:

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 创建训练数据集和标签
X = [[1.2], [2.4], [3.1], [4.5], [5.0]]
y = [0, 0, 1, 1, 1]# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 创建逻辑回归模型
model = LogisticRegression()# 训练模型
model.fit(X_train, y_train)# 进行预测
y_pred = model.predict(X_test)# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"准确率:{accuracy}")
# 损失函数
def compute_loss(y, y_pred):m = len(y)return -1 / m * np.sum(y * np.log(y_pred) + (1 - y) * np.log(1 - y_pred))# 梯度下降优化参数
def gradient_descent(X, y, theta, learning_rate, num_epochs):m = len(y)losses = []for epoch in range(num_epochs):z = np.dot(X, theta)y_pred = sigmoid(z)gradient = np.dot(X.T, (y_pred - y)) / mtheta -= learning_rate * gradientloss = compute_loss(y, y_pred)losses.append(loss)return theta, losses# 生成示例数据
np.random.seed(0)
X = np.random.randn(100, 3)
y = np.random.randint(0, 2, 100)
print(X)
print(y)
# 添加偏置项(截距项)到特征矩阵
X_b = np.c_[np.ones((100, 1)), X]# 初始化模型参数
theta = np.random.randn(4)# 定义梯度下降参数
learning_rate = 0.1
num_epochs = 1000# 使用梯度下降训练模型
theta, losses = gradient_descent(X_b, y, theta, learning_rate, num_epochs)# 打印最终参数和损失
print("最终参数:", theta)
print("最终损失:", losses[-1])

算法可视化

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score# 创建一个模拟的二分类数据集
X, y = make_classification(n_samples=100, n_features=2, n_classes=2, n_clusters_per_class=1, n_redundant=0, random_state=42)# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 初始化逻辑回归模型
model = LogisticRegression()# 训练模型
model.fit(X_train, y_train)# 预测测试集
y_pred = model.predict(X_test)# 计算模型的准确率
accuracy = accuracy_score(y_test, y_pred)
print("模型准确率:", accuracy)# 可视化训练集和测试集以及决策边界
plt.figure(figsize=(12, 5))# 绘制训练集
plt.subplot(1, 2, 1)
plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap='coolwarm')
plt.title("训练集")# 绘制测试集以及决策边界
plt.subplot(1, 2, 2)
plt.scatter(X_test[:, 0], X_test[:, 1], c=y_test, cmap='coolwarm')
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()
xx, yy = np.meshgrid(np.linspace(xlim[0], xlim[1], 50),np.linspace(ylim[0], ylim[1], 50))
Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, cmap='coolwarm', alpha=0.6)
plt.title("测试集和决策边界")plt.show()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/70175.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

01_TMS320F28004x系列MCU介绍和资料搜集

1. TI C2000 实时微控制器 TI公司在处理器方面的产品线有:基于ARM内核的微控制器/微处理器、MSP430微控制器、C2000系列实时微控制器、还有数字信号处理器(DSP)。 其中,C2000是TI公司专门针对实时控制推出的32位微控制器。TI公司…

SpingBoot整合Sa-Token框架(1)

一、文档参考:框架介绍 (sa-token.cc) 框架生态——开源项目 (sa-token.cc) 二、与SpingBoot整合 1、创建项目 在 IDE 中新建一个 SpringBoot 项目,例如:sa-token-demo-springboot(不会的同学请自行百度或者参考:Sp…

代码随想录算法训练营第三十九天 |● 62.不同路径 ● 63. 不同路径 II

题目链接:62.不同路径 代码随想录 视频讲解:动态规划中如何初始化很重要!| LeetCode:62.不同路径_哔哩哔哩_bilibili 因为只能向右或则向下走,所以到第i,j位置有dp[i][j]的方法数等于 dp[i - 1] 的方法数加…

macOS Ventura 13.5.1 上 lrzsz无法使用的问题

背景 最近更新了版本从macOS12.4更新到了13.5.1,发现lrzsz无法使用了,具体表现形式是rz选完文件后卡在那个rz waiting to receive.**B0100000023be50,或者sz后卡在**B0100000。 过程 一开始怀疑的是expect的问题,因为我是自己写…

Docker技术入门| Part03:Dockerfile详解(Dockerfile概念、Dockerfile 指令、使用Dockerfile构建镜像)

文章目录 1. Dockerfile概念2. Dockerfile 指令FROM 指定基础镜像RUN执行命令CMD 容器启动命令COPY 复制文件ADD 更高级的复制文件ENV 设置环境变量ARG 构建参数VOLUME 定义匿名卷EXPOSE 暴露端口WORKDIR 指定工作目录USER 指定当前用户LABEL 为镜像添加元数据SHELL 指令 3. 使…

【系统设计系列】 DNS和CDN

系统设计系列初衷 System Design Primer: 英文文档 GitHub - donnemartin/system-design-primer: Learn how to design large-scale systems. Prep for the system design interview. Includes Anki flashcards. 中文版: https://github.com/donnemarti…

『C语言进阶』指针进阶(一)

🔥博客主页: 小羊失眠啦 🔖系列专栏: C语言 🌥️每日语录:无论你怎么选,都难免会有遗憾。 ❤️感谢大家点赞👍收藏⭐评论✍️ 前言 在C语言初阶中,我们对指针有了一定的…

合宙Air724UG LuatOS-Air LVGL API控件-页面 (Page)

页面 (Page) 当控件内容过多,无法在屏幕内完整显示时,可让其在 页面 内显示。 示例代码 page lvgl.page_create(lvgl.scr_act(), nil) lvgl.obj_set_size(page, 150, 200) lvgl.obj_align(page, nil, lvgl.ALIGN_CENTER, 0, 0)label lvgl.label_crea…

【Spring Boot】SpringBoot 2.6.6 集成 SpringDoc 1.6.9 生成swagger接口文档

文章目录 前言一、SpringDoc是什么?二、使用步骤1.引入库2.配置类3.访问测试 总结其他配置立个Flag 前言 之前常用的SpringFox在2020年停止更新了,新项目集成SpringFox出来一堆问题,所以打算使用更活跃的SpringDoc,这里简单介绍一…

Nomad 系列-快速上手

系列文章 Nomad 系列文章 Nomad 重要术语 Nomad 安装设置相关术语 agent - 代理。Agent 是在 Server(服务器) 或 Client(客户端) 模式下运行的 Nomad 进程。client - 客户端。Nomad 客户端负责运行分配给它的任务。它还向服务器…

centos编译升级cmake,痛苦的Linux小白

环境 root 用户 下载 cmake官网下载地址:https://cmake.org/download/ 获取下载地址,右击cmake-3.27.4.tar.gz 命令行输入链接地址,下载 wget https://github.com/Kitware/CMake/releases/download/v3.27.4/cmake-3.27.4.tar.gz解压 tar -zx…

如何重置 docker中的mariadb的root

停止 Mariadb 容器&#xff1a;运行以下命令停止正在运行的 Mariadb 容器&#xff1a; docker stop <container_name>将 <container_name> 替换为你的 Mariadb 容器的名称或容器ID。 删除 Mariadb 容器&#xff1a;运行以下命令删除已停止的 Mariadb 容器&#x…

基于Pytest+Allure+Excel的接口自动化测试框架

1. Allure 简介 简介 Allure 框架是一个灵活的、轻量级的、支持多语言的测试报告工具&#xff0c;它不仅以 Web 的方式展示了简介的测试结果&#xff0c;而且允许参与开发过程的每个人可以从日常执行的测试中&#xff0c;最大限度地提取有用信息。 Allure 是由 Java 语言开发…

鼠标键盘管理 ShareMouse for Mac最新

软件“ShareMouse”允许您通过单个鼠标和键盘控制多台计算机&#xff1a; 将鼠标移动到您想要控制的计算机的监视器上&#xff0c;指针会神奇地跳转到该计算机。任何鼠标和键盘输入都会传输到相应的计算机。 与网络KVM类似&#xff0c;ShareMouse通过本地LAN传输鼠标移动和点…

Python 推导式

Python 推导式 Python 推导式是一种独特的数据处理方式&#xff0c;可以从一个数据序列构建另一个新的数据序列的结构体。 Python 支持各种数据结构的推导式&#xff1a; 列表(list)推导式字典(dict)推导式集合(set)推导式元组(tuple)推导式 列表推导式 列表推导式格式为&…

【ARM AMBA5 CHI 入门 12 -- CHI 总线学习 】

文章目录 介绍CHI 特点Layers of the CHI architectureTopology Node TypeTransaction 分类Transaction 路由SAM 介绍Node ID 节点间数据怎么传输的呢&#xff1f; 介绍 CHI 的全称是 Coherent Hub Interface。所以从名字就能看出&#xff0c;CHI要解决什么问题了。按照惯例&a…

CentOS7安装时直接跳过了安装信息摘要页面的解决方法

最近在配置Hadoop虚拟机的时候&#xff0c;创建的centos7虚拟机在安装信息摘要时直接自动跳过&#xff0c;直接跳到设置用户名和密码&#xff0c;在重复多次的重新删除安装后发现了问题所在&#xff1a; 在进行到选择操作系统来源时&#xff0c;注意是否出现“该操作系统将使用…

什么程度才算精通 Linux?

前言 Linux 的优秀之处自然不必多说。 如果将操作系统比作一辆汽车&#xff0c;那 Linux 就是一辆性能出色的多功能越野车&#xff0c;上山下海飞天无所不能。 如果你拥有了它&#xff0c;一定不会只满足于驾驶它上下班&#xff0c;不能只会挂挡、踩油门和控制方向之类的基本…

前端面试的话术集锦第 5 篇:高频考点( 类型转换 深浅拷贝 模块化机制等)

这是记录前端面试的话术集锦第五篇博文——高频考点(类型转换 & 深浅拷贝 & 模块化机制等),我会不断更新该博文。❗❗❗ 1. typeof类型判断: typeof是否能正确判断类型? instanceof能正确判断对象的原理是什么 typeof对于原始类型来说,除了null都可以显示正确的类…

【宜居星球改造计划】Python 实现

1.题目 2XXX年&#xff0c;人类通过对火星的大气进行宜居改造分析&#xff0c;使得火星已在理论上具备人类宜居的条件&#xff0c;由于技术原因&#xff0c;无法一次性将火星大气全部改造&#xff0c;只能通过局部处理形式&#xff0c;假设将火星待改造的区域为row*column的网格…