SDM方法
考虑一般额NLS问题:
f(x)=minx||h(x)−y||2
这里x为优化参数,h为非线性函数,y是已知变量,如下是基于梯度的迭代公式:
Δx=αAJTh(h(x)−y)
这里 α是步长,A是缩放因子, Jh是h在当前参数x下的Jacobian值。
各种优化方法不同,取决于A的选择,具体为:
- A=H−1表示:牛顿法
- A=(JTJ)−1表示:高斯牛顿法
- A=I表示:梯度下降法
但对于不可导的函数,J和H都是很难求的。
SDM的主要观点是用一个学习矩阵R去替代αAJTh,称R为通用的下降方向(Generic Descent Map(DM))。
SDM是一种迭代算法,用来学习一系列的DM.如下动画展示了SDM方法是如何从当前最优路径(虚线标注)中学习DM的。
http://xiong828.github.io/pics/sdm-animation-all.gif
牛顿法与拟牛顿法
本章可以参考文献《牛顿法与拟牛顿法学习笔记》