线性回归建模

训练，预测

• $\{(x^{(i)},y^{(i)})\}$ ⼀个训练样本，$\{(x^{(i)},y^{(i)});i=1,\cdots ,N\}$ 训练样本集
• $\{(x_1^{(i)},x_2^{(i)},y^{(i)})\}⟶\{({\mathbf{x}}^{(i)},y^{(i)})\},{\mathbf{x}}^{(i)}=[\begin{array}{c}{x}_1^{(i)}\\ x_2^{(i)}\end{array}]$
  
• 试图学习
  • 一维：$f(x)=wx+b$ 使得 $f(x^{(i)})\approx y^{(i)}$
  • 多维：$f(x)={\mathbf{w}}^T\mathbf{x}+b$ 使得 $f({\mathbf{x}}^{(i)})\approx y^{(i)}$
    核心问题在于如何学习？

⽆约束优化梯度分析法

无约束优化问题

• ⾃变量为标量的函数 $f$：$\mathbf{R}\to \mathbf{R}$
  $$\min f(x)x\in \mathbf{R}$$

• ⾃变量为标量的函数 $f$：${\mathbf{R}}^n\to \mathbf{R}$
  $$\min f(x)\mathbf{x}\in {\mathbf{R}}^n$$

• Contour（等高图）
  

优化问题可能的极值点情况

梯度和 Hessian 矩阵

• 一阶导数和梯度（gradient vector）
  $$f^{\prime }(x);\mathbf{g}\left(\mathbf{x}\right)=\nabla f(\mathbf{x})=\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial f(\mathbf{x})}{\partial x_1}\\ ⋮\\ \frac{\partial f(\mathbf{x})}{\partial x_n}\end{array}\right]$$

• ⼆阶导数和 Hessian 矩阵
  $$f^{\prime \prime }(x);\mathbf{H}\left(\mathbf{x}\right)={\nabla }^{2}f\left(\mathbf{x}\right)=[\begin{array}{cccc}\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1^2}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1\partial x_n}\cdots \\ \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2^2}& & \\ & & \ddots & \\ \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n\partial x_2}& & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n^2}\end{array}]=\nabla {\left(\nabla f(\mathbf{x})\right)}^T$$

二次型

给定矩阵 $A\in {\mathbf{R}}^{n\times n}$，函数
$${\mathbf{x}}^T\mathbf{Ax}=\sum _{i=1}^n{x}_i{\left(\mathbf{Ax}\right)}_i=\sum _{i=1}^n{x}_i\left(\sum _{j=1}^n{a}_{ij}{x}_j\right)=\sum _{i=1}^n\sum _{j=1}^n{x}_i{x}_j{a}_{ij}$$
被称为⼆次型。

例：对于 $f\left(\mathbf{x}\right)=x_1^2+x_2^2+x_3^2$ ，可以写成下面的二次型：
$$\begin{array}{r}f(x_1,x_2,x_3)=\left[\begin{array}{c}{x}_1,x_2,x_3\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]\end{array}$$

相关概念：

• 给定对称矩阵 $A\in {\mathbf{R}}^{n\times n}$ ，如果对于所有 $\mathbf{x}\in {\mathbf{R}}^n$ ，有 ${\mathbf{x}}^T\mathbf{Ax}\ge 0$ ，则为 半正定矩阵（positive semidefinite），此时特征值 $\lambda (\mathbf{A})\ge 0$
• 如果对于所有 $\mathbf{x}\in {\mathbb{R}}^n,\mathbf{x}\ne 0$，有 ${\mathbf{x}}^T\mathbf{Ax}>0$，则为正定矩阵（positive definite） .
• 与之对应的还有：负定矩阵、不定矩阵(indefinite)

矩阵求导案例

• 向量 $\mathbf{a}$ 和 $\mathbf{x}$ 无关，则 $\nabla \left({\mathbf{a}}^T\mathbf{x}\right)=\mathbf{a},{\nabla }^2\left({\mathbf{a}}^T\mathbf{x}\right)=0$
• 对称矩阵矩阵 $\mathbf{A}$ 和 $\mathbf{x}$ ⽆关，则 $\nabla \left({\mathbf{x}}^T\mathbf{Ax}\right)=2Ax,{\nabla }^2\left({\mathbf{x}}^T\mathbf{Ax}\right)=2\mathbf{A}$
• 最小二乘
  $$\begin{array}{rl}f(\mathbf{x})& =||\mathbf{Ax}-\mathbf{b}|{|}_2^2={\mathbf{x}}^T{\mathbf{A}}^T\mathbf{Ax}-2{\mathbf{b}}^T\mathbf{Ax}+{\mathbf{b}}^T\mathbf{b}\\ \nabla f(\mathbf{x})& =2{\mathbf{A}}^T\mathbf{Ax}-2{\mathbf{A}}^T\mathbf{b}\end{array}$$

详细求解可以参考《矩阵论》教材

泰勒级数

泰勒级数展开

• 输⼊为标量的泰勒级数展开
  $$f(x_k+\delta )\approx f(x_k)+f^{\prime }\left(x_k\right)\delta +\frac{1}{2}{f}^{\prime \prime }\left(x_k\right){\delta }^2+\cdots +\frac{1}{k!}{f}^k\left(x_k\right){\delta }^k+\cdots$$
• 输⼊为向量的泰勒级数展开
  $$f({\mathbf{x}}_k+\mathbf{\delta })\approx f({\mathbf{x}}_k)+{\mathbf{g}}^T({\mathbf{x}}_k)\mathbf{\delta }+\frac{1}{2}{\mathbf{\delta }}^T\mathbf{H}\left({\mathbf{x}}_k\right)\mathbf{\delta }$$

泰勒级数与极值

• 标量情况
  输入为标量的泰勒级数展开
  $$f(x_k+\delta )\approx f(x_k)+f^{\prime }\left(x_k\right)\delta +\frac{1}{2}{f}^{\prime \prime }\left(x_k\right){\delta }^2$$
  严格局部极小点：$f(x_k+\delta )>f(x_k)$
  称满足 $f^{\prime }(x_k)=0$ 的点为平稳点（候选点）；$f^{\prime }(x_k)=0$ 并不能推出为极小值
  
  函数在 $x_k$ 有严格局部极⼩值条件为 $f^{\prime }\left(x_k\right)=0\text{ 且 }{f}^{\prime \prime }\left(x_k\right)>0$

• 向量情况
  输入为向量的泰勒级数展开
  $$f({\mathbf{x}}_k+\mathbf{\delta })\approx f({\mathbf{x}}_k)+{\mathbf{g}}^T({\mathbf{x}}_k)\mathbf{\delta }+\frac{1}{2}{\mathbf{\delta }}^T\mathbf{H}\left({\mathbf{x}}_k\right)\mathbf{\delta }$$
  称满足 $\mathbf{g}\left({\mathbf{x}}_k\right)=0$ 的点为平稳点 (候选点)，此时如果有

• $\mathbf{H}\left({\mathbf{x}}_k\right)\succ 0$ ，${\mathbf{x}}_k$ 为⼀严格局部极⼩点 (反之，严格局部最⼤点)

• 如果 $\mathbf{H}\left({\mathbf{x}}_k\right)$ 为不定矩阵，则是⼀个鞍点（saddle point）

梯度为0求解的局限性

计算 $f(x)=x^4+\sin (x^2)-\ln (x)e^x+7$ 的导数$$\begin{array}{rl}{f}^{\prime }(x)& =4x^{(4-1)}+\frac{d\left(x^2\right)}{dx}\cos (x^2)-\frac{d\left(\ln x\right)}{dx}{e}^x-\ln (x)\frac{d\left(e^x\right)}{dx}+0\\ & =4x^3+2x\cos (x^2)-\frac{1}{x}{e}^x-\ln (x)e^x\end{array}$$可以看到常规方法无法求解 $f^{\prime }(x)=0$ 的点

⽆约束优化迭代法

迭代法的基本结构

• step1：选择⼀个初始点，设置⼀个 convergence tolerance $ϵ$，计数 $k=0$
• step2：决定搜索⽅向 ${\mathbf{d}}_k$ , 使得函数下降 （核心）
• step3：决定步⻓ ${\alpha }_k$ 使得 $f({\mathbf{x}}_k+{\alpha }_k{\mathbf{d}}_k)$ 对于 ${\alpha }_k\ge 0$ 最⼩化，构建 ${\mathbf{x}}_{k+1}={\mathbf{x}}_k+{\alpha }_k{\mathbf{d}}_k$
• step4：如果 $\Vert {\mathbf{d}}_k\Vert \le ϵ$ ，则停⽌输出解 ${\mathbf{x}}_{k+1}$；否则继续重复迭代

梯度下降法

取 ${\mathbf{d}}_k=-\mathbf{g}({\mathbf{x}}_k)$，思考为什么这么取？
$$f({\mathbf{x}}_k+{\mathbf{d}}_k)\approx f({\mathbf{x}}_k)+{\mathbf{g}}^T({\mathbf{x}}_k){\mathbf{d}}_k$$

• 需要 $f({\mathbf{x}}_k+{\mathbf{d}}_k)\downarrow$，则 $f({\mathbf{x}}_k)$ 加个负数
• 回忆两个向量的内积，$\mathbf{a}\cdot \mathbf{b}={\mathbf{a}}^T\mathbf{b}=\Vert a\Vert \Vert b\Vert \cos \theta$
  

牛顿法

方向选取

方向选取 ${\mathbf{d}}_k=-{\mathbf{H}}^{-1}\left({\mathbf{x}}_k\right)\mathbf{g}\left({\mathbf{x}}_k\right)$
方向选取依据
$$f({\mathbf{x}}_k+{\mathbf{d}}_k)=f({\mathbf{x}}_k)+{\mathbf{g}}^T({\mathbf{x}}_k){\mathbf{d}}_k+\frac{1}{2}{\mathbf{d}}_k^T\mathbf{H}\left({\mathbf{x}}_k\right){\mathbf{d}}_k$$
令 $\frac{\partial f({\mathbf{x}}_k+{\mathbf{d}}_k)}{\partial {\mathbf{d}}_k}=0\Rightarrow \mathbf{g}\left({\mathbf{x}}_k\right)+\mathbf{H}\left({\mathbf{x}}_k\right){\mathbf{d}}_k=0$

• 若 Hessian 矩阵正定，则有 ${\mathbf{d}}_k=-{\mathbf{H}}^{-1}\left({\mathbf{x}}_k\right)\mathbf{g}\left({\mathbf{x}}_k\right)$
• 强制要求 Hessian 矩阵正定：参考泰勒展开极值情况讨论

关键点

实际⼯程中 Hessian 矩阵 $\mathbf{H}$ 很难求， ${\mathbf{H}}^{-1}$ 更加难求
解决思路：

• 修正⽜顿法：当 Hessian 矩阵不是正定矩阵时，可对 Hessian 矩阵进⾏修正：$\mathbf{H}({\mathbf{x}}_k)+\mathbf{E}$，典型的⽅法 $\mathbf{E}=\delta \mathbf{I},\delta >0$ 很小
  $+\delta \mathbf{I}$ 可以使得特征值增加，从而使得 $\mathbf{H}$ 变为正定
• 拟⽜顿法（Quasi-Newton methods）

拟牛顿法

核心思想

• 统一深度下降法和牛顿法：
  $${\mathbf{d}}_k=-{\mathbf{S}}_k{\mathbf{g}}_k$$
• 其中 ${\mathbf{S}}_k=\{\begin{array}{ll}\mathbf{I}& \text{steepest}\\ {\mathbf{H}}_k^{-1}& \text{Newton}\end{array}$
• 不直接求 ${\mathbf{H}}_k^{-1}$，尝试用一个正定矩阵逼近 ${\mathbf{H}}_k^{-1}$ （一阶的量慢慢近似二阶的量）
• 定义 ${\delta }_k={\mathbf{x}}_{k+1}-{\mathbf{x}}_k$，${\gamma }_k={\mathbf{g}}_{k+1}-{\mathbf{g}}_k$
• 需要 ${\mathbf{S}}_{k+1}{\mathbf{\gamma }}_k={\mathbf{\delta }}_k$，为什么？
• 但是，只有 ${\delta }_k$ 和 ${\gamma }_k$ 是不可能计算出 ${\mathbf{S}}_{k+1}$ 的，继续用迭代的方法.

DFP

• 给定初始${\mathbf{S}}_0=\mathbf{I}$
• ${\mathbf{S}}_{k+1}={\mathbf{S}}_k+\Delta {\mathbf{S}}_k$, $k=0,1,\cdots$
• $\Delta {\mathbf{S}}_k=\alpha {\mathbf{uu}}^T+\beta \mathbf{v}{\mathbf{v}}^T$，因此
  $${\mathbf{S}}_{k+1}={\mathbf{S}}_k+\alpha \mathbf{u}{\mathbf{u}}^T+\beta \mathbf{v}{\mathbf{v}}^T$$
• 两边乘以${\gamma }_k$，有 ${\delta }_k={\mathbf{S}}_k{\gamma }_k+\underset{1}{\underbrace{\left(\alpha {\mathbf{u}}^T{\mathbf{\gamma }}_k\right)}}\mathbf{u}+\underset{-1}{\underbrace{\left(\beta {\mathbf{v}}^T{\mathbf{\gamma }}_k\right)}}\mathbf{v}={\mathbf{S}}_k{\gamma }_k+\mathbf{u}-\mathbf{v}$
• 解出$\alpha =\frac{1}{{\mathbf{u}}^T{\mathbf{\gamma }}_k},\beta =-\frac{1}{{\mathbf{v}}^T{\mathbf{\gamma }}_k}$，且有 $\mathbf{u}-\mathbf{v}={\mathbf{\delta }}_k-{\mathbf{S}}_k{\mathbf{\gamma }}_k$，可得$\mathbf{u}$ 和 $\mathbf{v}$，从而最终解得：
• Davidion-Feltcher-Powell(DFP) 更新公式
  $${\mathbf{S}}_{k+1}={\mathbf{S}}_k+\frac{{\delta }_k{\delta }_k^T}{{\delta }_k^T{\gamma }_k}-\frac{{\mathbf{S}}_k{\gamma }_k{\gamma }_k^T{\mathbf{S}}_k}{{\gamma }_k^T{\mathbf{S}}_k{\gamma }_k}$$

BFGS

Broyden-Fletcher-Goldfarb-Shanno (BFGS): $S_0=\mathbf{I}$
$${\mathbf{S}}_{k+1}={\mathbf{S}}_k+\left(1+\frac{{\gamma }_k^T{\mathbf{S}}_k{\gamma }_k}{{\delta }_k^T{\gamma }_k}\right)\frac{{\delta }_k{\delta }_k^T}{{\delta }_k^T{\gamma }_k}-\frac{{\delta }_k{\gamma }_k^T{\mathbf{S}}_k+{\mathbf{S}}_k{\gamma }_k{\delta }_k^T}{{\delta }_k^T{\gamma }_k}$$

• 每次迭代固定步⻓，实际中最常⽤，例如 ${\alpha }_k=\alpha =0.1$
• 求导：例如 $f(\mathbf{x})={\mathbf{x}}^T\mathbf{Ax}+2{\mathbf{b}}^T\mathbf{x}+c$，需要解 ${\min }_{\alpha \ge 0}f(\mathbf{x}+\alpha \mathbf{d})$ 则 $h\left(\alpha \right)=f(\mathbf{x}+\alpha \mathbf{d})$ ，则有$\frac{\partial h(\alpha )}{\partial \alpha }=0\Rightarrow \alpha =-\frac{{\mathbf{d}}^T\nabla f(\mathbf{x})}{2{\mathbf{d}}^T\mathbf{Ad}}$
• 不精确的线搜索和 Armijo 条件
  $$f({\mathbf{x}}_k+\alpha {\mathbf{d}}_k)<f({\mathbf{x}}_k)+c_1\alpha {\mathbf{g}}^T({\mathbf{x}}_k){\mathbf{d}}_k$$
  设置 $c_1=10^{-4}$ ，具体参考 NumericalOptimization。先从 $\alpha =1$ 搜，如果 Armijo 条件不满⾜，设置回调因⼦ $\beta \in (0,1)$，将步⻓下调⾄ $\alpha =\beta \alpha$。如果还不满足，继续回调(backtracking line search)，从而保证步长不至于太小。

线性回归求解

解法 1：利⽤梯度等于 0

• 试图学习：$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$ 使得 $f\left({\mathbf{x}}^{(i)}\right)\approx y^{(i)}$
• 未知 $\overline{\mathbf{w}}=\left[\begin{array}{c}\mathbf{w}\\ b\end{array}\right]$，已知 $\mathbf{X}={\left[\begin{array}{cc}{\mathbf{x}}^{(1)T}& 1\\ ⋮& ⋮\\ {\mathbf{x}}^{(N)T}& 1\end{array}\right]}_{N\times (d+1)}$，则有
  $$\mathrm{y}\approx \mathrm{X}\overline{\mathrm{w}}$$
• 损失函数 $||\mathbf{y}-\mathbf{X}\overline{\mathbf{w}}|{|}_2^2$ ，求解
  $$\min ||\mathbf{y}-\mathbf{X}\overline{\mathbf{w}}|{|}_2^2$$
• $g\left(\overline{\mathbf{w}}\right)=0\Rightarrow 2{\mathbf{X}}^T\left(\mathbf{X}\overline{\mathbf{w}}-\mathbf{y}\right)=0\Rightarrow {\overline{\mathbf{w}}}^{\ast }={\left({\mathbf{X}}^T\mathbf{X}\right)}^{-1}{\mathbf{X}}^T\mathbf{y}$
• 正则化

解法2：梯度下降

• 梯度下降法
  $$\begin{array}{rl}\mathbf{g}\left(\overline{\mathbf{w}}\right)& =2{\mathbf{X}}^T(\mathbf{X}\overline{\mathbf{w}}-\mathbf{y})\\ & =2\sum _{i=1}^N{\mathbf{x}}^{(i)}\left({\mathbf{w}}^T{\mathbf{x}}^{(i)}-y^{(i)}\right)\\ & \overline{\mathrm{w}}\leftarrow \overline{\mathrm{w}}-\alpha \mathbf{g}\left(\overline{\mathrm{w}}\right)\end{array}$$
• 随机梯度下降法（实际中很有用）
  $$\left\{i=1:N,2{\mathbf{x}}^{(i)}\left({\mathbf{w}}^T{\mathbf{x}}^{(i)}-y^{(i)}\right)\right\}$$