模式识别——贝叶斯决策理论BDR
- 须知
- 基本原则
- 0-1损失下的BDR
- MAP（极大后验）
- log trick
须知
所有内容在分类问题下讨论。
基本原则
定义
- X X X为观测
- Y Y Y为状态
- g ( x ) g(x) g(x)用 x x x对 y y y进行预测
- 预测损失为 L [ g ( x ) , i ] L[g(x),i] L[g(x),i]
风险 R i s k Risk Risk为损失的期望，即对所有观测造成的损失的平均，即对大量观测判别的损失最低：
R i s k = E X , Y [ L ( X , Y ) ] = ∫ ∑ i = 1 M P Y , X ( i , x ) L [ g ( x ) , i ] d x R i s k=E_{X,Y}[L(X,Y)]=\\ \int\sum_{i=1}^{M}P_{Y,X}(i,x)L[g(x),i]d x Risk=EX,Y[L(X,Y)]=∫i=1∑MPY,X(i,x)L[g(x),i]dx
通过条件概率展开成如下形式：
R i s k = E X [ R ( x ) ] = ∫ P X ( x ) R ( x ) d x Risk=E_X[R(x)]\\ =\textstyle\int P_{X}(x)R(x)d x Risk=EX[R(x)]=∫PX(x)R(x)dx
其中 R ( x ) R(x) R(x)为条件风险，即给定观测下的风险：
R ( x ) = ∑ i = 1 M P Y ∣ X ( i ∣ x ) L [ g ( x ) , i ] R(x)=\sum_{i=1}^{M}P_{Y|X}(i\mid x)L[g(x),i] R(x)=i=1∑MPY∣X(i∣x)L[g(x),i]
我们的目标就是找一个最优的判别函数，在观测 x x x给定的情况，使得对状态的预测损失最小。
g ∗ ( x ) = arg min g ( x ) R ( x ) g^{*}(x)=\arg\operatorname*{min}_{g(x)}R(x) g∗(x)=argg(x)minR(x)
gpt给出的使用条件风险代替全局风险的原因，可以参考：
0-1损失下的BDR
通过推导可以得出结论,0-1损失下的BDR就是MAP（极大后验准则），这是非常符合认知的：
g ∗ ( x ) = a r g m a x i P Y ∣ X ( i ∣ x ) {\mathcal{g}}^{*}(x)=argmax_{i}P_{Y|X}(i\mid x) g∗(x)=argmaxiPY∣X(i∣x)
对应的损失为：
R ∗ = ∫ P Y , X ( y ≠ g ∗ ( x ) , x ) d x R^{*}=\int P_{Y,X}(y\neq g^{*}(x),x)d x R∗=∫PY,X(y=g∗(x),x)dx
MAP（极大后验）
考虑二分类问题，使用极大后验可以表示为：
使用贝叶斯公式对极大后验展开，由于展开后的分母相同可以约掉（观测x已知）,可以得到:
log trick
两边取对数等价，可以将决策函数化为以下形式，以简化计算：
总而言之：
