逻辑回归logistic_regression(LR)其实是分类算法,而不是回归算法。
回归算法得到的是一个数,分类算法得到的是几个不同的类别。
逻辑回归就是通过函数将值转换为0-1之间,形成概率问题,从而实现了不同类别的分类。
Sigmoid 函数
Ⅰ、函数介绍
自变量取值为任意实数,值域[0,1]
将任意的输入映射到了[0,1]区间,在线性回归中可以得到一个预测值,再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换,也就是分类
任务。
Ⅱ、函数整理
预测函数:,其中
分类任务:
整理可得:
对于二分类任务(0,1),整合后y取0只保留,y取1只保留。
Ⅲ、函数推导
①,先带入求出似然函数
②,取对数,求解对数似然,转换完之后却成为了求解最大值,机器学习中常常需要求解下降问题
③,为了将求解最大值转换为求解下降问题
通过转换为求解下降问题,其中m为样本个数。
④,求导过程
⑤,更新参数
,α为当前的学习率。