fisher矩阵元素有什么含义和原理
目录
- fisher矩阵元素有什么含义和原理
- 一、对角线元素（ F i , i F_{i,i} Fi,i）的含义与原理
- 二、非对角线元素（ F i , j F_{i,j} Fi,j）的含义与原理
- Fisher 信息矩阵的形式
- 矩阵的宽度有位置权重数量决定
- 1. **模型参数结构决定矩阵维度**
- 2. **对数似然函数的二阶导数推导**
- 3. **Fisher 信息矩阵的最终形式**
- 元素解释：
- 得到fisher矩阵之后怎么使用
- 模型与参数设定
- 取值示例
- 样本计算
- fisher矩阵给出 θ 更新过程
- 步骤 1：计算预测概率 p i p_i pi
- 步骤 2：计算梯度 ∇ ℓ ( θ ) \nabla\ell(\theta) ∇ℓ(θ)
- 步骤 3：计算 Fisher 信息矩阵 F ( θ ) F(\theta) F(θ)
- 步骤 4：求 Fisher 信息矩阵的逆 F ( θ old ) − 1 F(\theta_{\text{old}})^{-1} F(θold)−1
- 步骤 5：更新参数 θ new \theta_{\text{new}} θnew
以图像识别猫狗任务为例，假设模型通过神经网络提取图像特征（如毛发纹理、耳朵形状等），输出属于“猫”的概率 p ( y = 猫 ∣ x , θ ) p(y=\text{猫}|x, \theta)
