上一篇文章（第六章）主要介绍了最大熵模型，并从中推导出逻辑斯谛回归，感觉意犹未尽。在复习了CS229 Lecture note之后，我决定重新整理思路：从广义线性模型的角度来看逻辑斯谛回归。最后，基于样本特征 X 分布的假设，生成和逻辑斯谛回归一样的模型。

一、背景

上图参考了b站“机器学习白板推导系列”：https://www.bilibili.com/video/BV1aE411o7qd?p=39

实际上，逻辑斯谛回归是广义线性模型的一种，而广义线性模型与最大熵模型都是源于指数族分布。因此直接从最大熵模型推出逻辑斯谛回归，确实有些不太自然的地方（具体在“特征函数”的取值上，违背了原来特征函数的取值假设），但从广义线性模型出发就没有违和感了。

二、指数族分布

什么是指数族分布呢？它是一个分布家族，包括：高斯分布、伯努利分布、二项分布、泊松分布等常见分布。

关于“指数族分布”可以参考这篇文章：https://zhuanlan.zhihu.com/p/89155678，是根据“白板推导”整理而成的笔记。

（1）一般形式

指数族分布具有以下一般形式：（此处使用CS229的符号规则）

其中：

是分布对应的随机变量，

称为“自然参数”，一般为向量。

是 y的充分统计量，就是足以对表随机变量 y 主要特征的值，例如：样本均值、样本方差等。

一般表示两个向量的内积，

与

有相同的维度。如果

为标量，则

也为标量，

表示两个数的乘积。

称为 log 配分函数，它主要起到归一化的作用，使得密度函数积分结果为1。

（2）高斯分布

为了简化计算，假设高斯分布的方差为1：

它的指数族形式如下：

（3）伯努利分布

它的指数族形式如下：

三、广义线性模型

广义线性模型用来解决“给定

预测

”的问题，它

• ，经常假设

假设一： 认为 y 是服从指数族分布的。由于广义线性模型既可用于“回归”，也可用于“分类”，因此不同分布将生成不同模型。回归对应连续型分布，分类对应离散型分布。

假设二：

就是需要“学习”的模型，它等于

。为什么？

就是给定数据x的条件下，预测 y 的值，它的数学期望不就是预测模型本身吗？

假设三：“自然参数”是样本x的线性组合，因此它是一个“线性模型”。

见证奇迹的时刻，看如何通过三个假设，得到不同的线性模型：

（1）线性回归

线性回归对应高斯分布：

。此假设的合理性在于，如果 y = h(x) 为线性模型，实际值与预测值的误差是由随机扰动引起的，这部分误差是服从高斯分布的。

根据假设二，线性模型有如下形式：

线性回归模型的输出：

（2）Logistic Regression

逻辑斯谛回归对应伯努利分布：

，逻辑斯谛回归的输出，并不是分类结果，而是一个概率 p(y=1 | x)。当此概率大于0.5时 ，y=1，否则y=0。因此它等于伯努利分布的概率参数。

逻辑斯谛回归的分类结果：

（3）Softmax Regression

Softmax 与 多项逻辑斯谛回归是等价的，下面将证明这一点，它被用于解决多分类问题。由于涉及多分类，不能简单地假设

，此时

与

都是向量。下面将展示这个较为复杂的推导过程：

设

用分布参数

表示 y 属于第 i 分类的概率：

当

时，

当

时，

由此可见，上述 k 个参数

并非完全独立的，它们的和等于1。

令

（一个 k-1 维的向量）：

，

, ... ,

，

其中

表示向量

的 第 i 个分量。

接下来是关键一步，由于

，可用“示性函数”表示，

由此得到 softmax 的概率质量函数：

如果把

展开，分别合并到前 k-1 项里面，可得

，

，

，

以上就是 softmax 的指数族形式。

最后，寻找“自然参数”

与 “分布参数”

的关系：

由于

, 那么

，即

把上式左右两边累加起来，得到：

， 即

将“即”字后面的两个式子整理一下，得到：

... 式（1）

但请注意：

只有 k-1 个分量，如果令

， 使得

... 式（2）

刚好满足

。

根据假设三：

，其中

，将其代入 式（1）、式（2）得到

当

时，

... 式（3）

当

时，

... 式（4）

上述式（3）、式（4）就是 Softmax Regression 模型，与多项逻辑斯谛回归模型一样。

中概率最大的那一项，决定了 y 的取值。

四、线性从何而来

如果选择一个公式代表“逻辑斯谛回归”，该选择哪个公式呢？我认为是：

或者

，其中

也就是“对数几率”等于 x 的线性函数。

从这个公式出发，可以推导出逻辑斯谛回归的全部公式。

如果把右侧的线性模型记作 s，上式可以表示为

即

，由此可见 p 是 s 的 sigmoid 函数。

sigmoid 的作用是将

映射至

，于是分类结果 s ：正数（代表正类），负数（代表负类）被转换为一个处于0到1之间的概率值 p。

回顾感知机模型（线性模型），通过模型的符号标记分类结果，逻辑斯谛回归只是进一步把符号转换为概率值。如果把线性模型替换为其他非线性模型，只要用正数、负数表示不同分类，将其代入 sigmoid 函数，仍可得到不同的概率输出。

最后一个问题：为什么选择线性模型

？

仅仅是因为线性模型最简单吗？此处试图从另一个角度看待这个问题。根据贝叶斯定理，

其中

是由训练集样本决定的常数（设为

），

假设服从高斯分布，且在Y的不同取值情况下方差相同（或者简单设为1），但均值不同。于是有

上式等号右侧为 x 与 参数

的线性模型。

在更为一般的情况下，如果将

换成其他“指数族分布”，结果仍然是线性模型。

请参阅：https://tech.meituan.com/2015/05/08/intro-to-logistic-regression.html

延伸阅读部分。