最优化学习笔记（七）——Levenberg-Marquardt修正（牛顿法修正）

上节末尾谈到牛顿法中隐含的另外一个问题在于hessian矩阵可能不是正定的。因此， $\boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})}$ 可能不会是下降方向。Levenberg-Marquardt修正可以解决这个问题，保证每次产生的方向是下降方向，修正后的迭代公式是：

x (k + 1) = x (k) - (F (x (k)) + μ k I) - 1 g (x (k))

$\boldsymbol{x}^{(k+1)} =\boldsymbol{x}^{(k)} -(\boldsymbol{F}(\boldsymbol{x}^{(k)})+\mu_k\boldsymbol{I})^{-1}\boldsymbol{g(x^{(k)})}$
其中，

μk≥0 $\mu_k \ge 0$ 。
下面对此进行说明。

F $\boldsymbol{F}$ 为对称矩阵，并不要求是正定的。

F $\boldsymbol{F}$ 的特征值为

λ1,λ2,…,λn $\lambda_1,\lambda_2,\dots, \lambda_n$ ，分别对应特征向量

v1,v2,…,vn $\boldsymbol{v}_1,\boldsymbol{v}_2, \dots, \boldsymbol{v}_n$ .特征值全部为实数，但不要求全部为正数。对

F $\boldsymbol{F}$ 进行简单的修正，得到矩阵

G=F+μI $\boldsymbol{G}=\boldsymbol{F}+\mu\boldsymbol{I}$ ，其中，

μ≥0 $\mu \ge 0$ 。可知矩阵

G $\boldsymbol{G}$ 的特征值为：

λ1+μ,λ2+μ,…,λn+μ $\lambda_1+\mu,\lambda_2+\mu,\dots, \lambda_n+\mu$ ,且满足：

G v i = (F + μ I) v i = F v i + μ I v i = λ i v i + μ v i = (λ i + μ) v i

$\boldsymbol{G}\boldsymbol{v}_i = (\boldsymbol{F}+\mu\boldsymbol{I})\boldsymbol{v}_i \\ =\boldsymbol{F}\boldsymbol{v}_i + \mu\boldsymbol{I}\boldsymbol{v}_i\\ =\lambda_i\boldsymbol{v}_i + \mu\boldsymbol{v}_i\\ =(\lambda_i + \mu)\boldsymbol{v}_i$
这说明只要

μ $\mu$ 足够大，就可以保证

G $\boldsymbol{G}$ 的特征值都为正数，也就是说

G $\boldsymbol{G}$ 为正定矩阵。同理，如果Levenberg-Marquardt中的

μk $\mu_k$ 足够大的话，总能保证搜索方向

d(k)=−F(x(k))−1g(x(k)) $\boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})}$ 是一个下降方向。引入一个搜索步长

αk $\alpha_k$ ,可以得到新的迭代公式:

x (k + 1) = x (k) - α k (F (x (k)) + μ k I) - 1 g (x (k))

$\boldsymbol{x}^{(k+1)} =\boldsymbol{x}^{(k)} -\alpha_k(\boldsymbol{F}(\boldsymbol{x}^{(k)})+\mu_k\boldsymbol{I})^{-1}\boldsymbol{g(x^{(k)})}$
在实际应用中，一开始可以选择

μk $\mu_k$ 较小的值，然后缓慢增加，直到出现下降特性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/576600.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！