一、什么是分类问题?
在分类问题中,我们试图预测的变量𝑦是离散的值,通常表示某种类别或标签。这些类别可以是二元的,也可以是多元的。分类问题的示例包括:
- 判断一封电子邮件是否是垃圾邮件(二元分类)
- 判断一次金融交易是否涉及欺诈(二元分类)
- 区分肿瘤是恶性的还是良性的(二元分类)
- 图像识别:将图像分为不同的类别(多元分类)
分类问题在现实世界中无处不在,因此开发有效的分类算法至关重要。逻辑回归是其中一种应用最广泛的分类算法。
二、逻辑回归
逻辑回归是一种分类算法,尽管其名称中包含“回归”,但它实际上是用于分类任务的算法。逻辑回归的特点是其输出值永远在0到1之间,这使得它非常适合处理离散的标签,如0和1。
与线性回归不同,逻辑回归的输出范围被约束在[0, 1]之间,因此它适用于计算概率。具体来说,逻辑回归模型使用一个逻辑函数(Sigmoid函数)来将输入映射到0和1之间。逻辑函数的公式为:
g(z) = 1 / (1 + e^(-z))
在这个公式中,z表示输入,g(z)表示逻辑函数。逻辑函数的作用是计算在给定输入条件下,输出为1的可能性。如果g(z)大于等于0.5,则模型预测为1;如果g(z)小于0.5,则模型预测为0。
三、假设函数表示
逻辑回归模型的假设函数表示如下:
ℎ𝜃(𝑥) = 𝑔(𝜃^𝑇𝑥)
在这个表示中,𝑥代表特征向量,𝑔代表逻辑函数。模型的任务是根据选择的参数计算输出变量为1的可能性,即ℎ𝜃(𝑥) = 𝑃(𝑦 = 1|𝑥; 𝜃)。例如,如果计算得到ℎ𝜃(𝑥) = 0.7,那么表示有70%的几率𝑦为正向类,相应地𝑦为负向类的几率为0.3。
四、判定边界
在逻辑回归中,我们通过选择适当的参数𝜃来定义一个决策边界(decision boundary),该边界将数据分为不同的类别。决策边界是一个分割区域,对于不同的输入数据,模型会预测其属于不同的类别。
逻辑回归的假设函数可以表示为:
ℎ𝜃(𝑥) = 𝑔(𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2 + 𝜃3𝑥1² + 𝜃4𝑥2²)
在上述表达式中,𝑥1和𝑥2是特征,𝜃0、𝜃1、𝜃2、𝜃3、𝜃4是模型的参数。根据不同的参数,我们可以得到不同的决策边界。这意味着逻辑回归模型可以适应各种形状的决策边界,从简单的直线到复杂的曲线。
参考资料:
[中英字幕]吴恩达机器学习系列课程
黄海广博士 - 吴恩达机器学习个人笔记