深入理解交叉熵损失CrossEntropyLoss - 乘积符号在似然函数中的应用

flyfish

乘积符号prod，通常写作 $\prod$，它类似于求和符号 $\sum$，但它表示的是连续乘积。我们来看一下这个符号的具体用法和例子。

乘积符号 $\prod$

乘积符号 $\prod$ 用于表示一系列数的乘积。其具体形式如下：

$$\prod _{i=1}^n{a}_i$$

这个表达式表示从 $i=1$ 到 $i=n$ 的所有 $a_i$ 的乘积。更具体地说：

$$\prod _{i=1}^n{a}_i=a_1\cdot a_2\cdot a_3\cdot \dots \cdot a_n$$

例子

1. 简单乘积：
   $$\prod _{i=1}^{4}i=1\cdot 2\cdot 3\cdot 4=24$$
2. 带常数因子的乘积：
   $$\prod _{i=1}^3(2i)=2\cdot 4\cdot 6=48$$
3. 概率的乘积：
   假设有一组独立的随机变量 $X_1,X_2,\dots ,X_n$，每个变量的概率为 $P(X_i)$，那么：
   $$\prod _{i=1}^{n}P(X_i)$$
   表示所有这些变量的联合概率。

乘积符号在似然函数中的应用

在统计学和机器学习中，乘积符号 $\prod$ 常用于定义似然函数，特别是在处理独立同分布（i.i.d.）数据时。

似然函数的定义

假设我们有一个参数化的概率模型 $P(X|\theta )$，其中 $\theta$ 是模型的参数，$X$ 是观测数据。如果我们有独立同分布的数据集 { x 1 , x 2 , … , x n } \{x_1, x_2, \ldots, x_n\} {x1​,x2​,…,xn​}，那么似然函数 $L(\theta |X)$ 是各数据点概率的乘积：

$$L(\theta |X)=\prod _{i=1}^{n}P(x_i|\theta )$$

这里的 ${\prod }_{i=1}^n$ 表示从 $i=1$ 到 $i=n$ 的所有 $P(x_i|\theta )$ 的乘积。

具体例子

假设我们有一组二项分布数据，每个数据点的概率为 $P(x_i|p)=p^{x_i}(1-p{)}^{1-x_i}$，其中 $p$ 是硬币正面朝上的概率，$x_i$ 表示第 $i$ 次投掷的结果（1 表示正面，0 表示反面）。那么，对于 $n$ 次投掷，似然函数可以写成：

$$L(p|X)=\prod _{i=1}^{n}P(x_i|p)=\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}$$

对数似然函数

为了简化计算，通常对似然函数取对数，得到对数似然函数：

$$\log L(p|X)=\log \left(\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}\right)=\sum _{i=1}^n\log \left(p^{x_i}(1-p{)}^{1-x_i}\right)=\sum _{i=1}^n\left(x_i\log (p)+(1-x_i)\log (1-p)\right)$$

乘积符号 $\prod$ 用于表示一系列数的连续乘积。在最大似然估计和许多其他统计应用中，它被用来计算独立同分布数据的联合概率。