【ML】逻辑回归、生成式与判别式引出 3
- 1. 逻辑回归的基本原理:
- 2. 逻辑回归的关键点:
- 3. 逻辑回归推导过程
- 4. Discriminative(判别式)模型和Generative(生成式)
- 4.1 Discriminative(判别式)模型:
- 4.2 Generative(生成式)模型:
- 4.3 总结差异:
- 5. Multi-class Classification
逻辑回归(Logistic Regression)是一种广泛使用的统计方法,用于处理二分类问题。尽管它的名字中包含“回归”二字,但逻辑回归实际上是一种分类算法。它通过使用逻辑函数(通常是Sigmoid函数)来估计概率,从而进行分类决策。
1. 逻辑回归的基本原理:
-
Sigmoid函数:
- 逻辑回归使用Sigmoid函数将线性回归模型的输出映射到0和1之间,这个值可以被解释为属于某个类别的概率。
- Sigmoid函数的公式为:
σ(z) = 1 / (1 + e^(-z))
,其中z
是线性回归的输出,即z = w_1 * x_1 + w_2 * x_2 + ... + w_n * x_n + b
。
-
概率估计:
- 给定输入