逻辑回归中的损失函数

一、引言

逻辑回归中的损失函数通常采用的是交叉熵损失函数（cross-entropy loss function）。在逻辑回归中，我们通常使用sigmoid函数将线性模型的输出转换为概率值，然后将这些概率值与实际标签进行比较，从而计算损失。

二、交叉熵损失函数

在逻辑回归解决二分类问题的学习中，我们认识到逻辑回归的输出结果可以看成输入 $x^{(i)}$ 时输出为正例（ $y^{(i)}=1$ )的概率。

$\hat{y}=P(y=1|x;\vec{w},b)$

分解如下：

$IF \ y=1:P(y|x)=\hat{y}\\ IF \ y=0:P(y|x)=1-\hat{y}$

于是我们便想到可以通过比较模型预测的概率分布和实际标签之间的差异来衡量模型的准确性。在信息论中，交叉熵用来比较两个概率分布之间的差异。

定义：交叉熵损失函数（Cross-entropy loss function）是一种用于衡量模型输出与实际标签之间差异的损失函数。在机器学习中，交叉熵损失函数通常用于分类问题中，特别是在逻辑回归和神经网络等模型中。

对于一个逻辑回归函数：

$f_{\vec{w},b}(\vec{x})=\frac{1}{1+e^{ -(wx^{T}+b) }}$

损失函数公式：

$L(f_{\vec{w},b}(\vec{x}^{(i))}),y^{(i)})=\left\{\begin{matrix} -log(f_{\vec{w},b}(\vec{x}^{(i))}))& if y^{(i)}=1\\ -log(1-f_{\vec{w},b}(\vec{x}^{(i))}))&ify^{(i)}=0 \end{matrix}\right.$

简化后的公式：

$L(f_{\vec{w},b}(\vec{x}^{(i))}),y^{(i)})=-y^{(i)}log(f_{\vec{w},b}(\vec{x}^{(i)}))-(1-y^{(i)})log(1-f_{\vec{w},b}(\vec{x}^{(i)}))$

根据损失函数的定义，当 $f_{\vec{w},b}(\vec{x}^{(i)})$ 的值与目标值 $y^{(i)}$ 越接近，损失函数值越小，预测越准确。

所以：

$if \ y=0: \ f_{\vec{w},b}(\vec{x}^{(i)})\rightarrow 0 \ then \ loss\rightarrow 0\\ if \ y=1: \ f_{\vec{w},b}(\vec{x}^{(i)})\rightarrow 1\ then \ loss\rightarrow \infty$