在最优化学习系列中,第一次就说的是牛顿法,但是那是在一维搜索上的,它其实就是将函数f在
当目标函数f:Rn→R上二阶连续可微时,将函数f在
其中,g(k)=∇f(x(k)),F(x(k))是f(x(k))黑塞矩阵,将q应用局部极小点的一届必要条件:
0=∇q(x)=g(k)+F(x(k))(x−x(k))
如果 F(x(k))>0, 则函数 q的极小值点为:
需要说明的是,在上述过程中,需要求解一个n<script type="math/tex" id="MathJax-Element-3483">n</script>维的线性齐次方程组,这对效率很有影响,应该设计一个更为高效的方法。如果黑塞矩阵是非正定的,那么牛顿法也将存在问题,后边也将会针对问题提出相应的修正方法。