一、一维搜索方法
讨论目标函数为一元单值函数f:R→R时的最优化问题的迭代求解方法。
二、局部极小点的条件
n元实值函数f的一阶导数
Df≜[∂f∂x1,∂f∂x2,…,∂f∂xn]
函数f的梯度是
下面只给出局部极小点位于约束集内部时的一阶必要条件。多元实值函数f在约束集
∇f(x∗)=0
成立。
三、牛顿法
考虑一元单值函数在区间上求极小值的问题,此处假设函数连续二阶可微。下面构造一个经过点(x(k),f(x(k)))二次函数,该函数在x(k)的一阶和二阶导数分别为f′(x(k)),f′′(x(k)).那么,构造的函数如下:
q(x)=f(x(k))+f′(x(k))(x−x(k))+12f′′(x(k))(x−x(k))2
则有
q(x(k))=f(x(k))(1)q′(x(k))=f′(x(k))(2)q′′(x(k))=f′′(x(k))(3)
q(x)可以认为是 f(x)的近似。因此,求函数 f的极小值点近似于求解
令 x=x(k+1),可得:
x(k+1)=x(k)−f′(x(k))f′′(x(k))
上式即为牛顿法的迭代公式,当 f′′(x)>0时,对于区间内的 x都成立,牛顿法正常,反之当
后续将牛顿法扩展到目标函数为f:Rn→R上。