二、学习回归

1.$y$与$f_{\theta }(x)$

$y$ 是实际数据x对应的值

$f_{\theta }(x)$是我们构造出来的函数，例如$f_{\theta }(x)={\theta }_0+{\theta }_{1}x$

所以我们希望这两个越接近，同时我们把$y-f_{\theta }(x)$称为误差

2.目标函数

假设有 n 个训练数据，那么它们的误差之和可以用这样的表达式表示。这个表达式称为

目标函数，E(θ)的E是误差的英语单词 Error 的首字母
$$E(\theta )=\frac{1}{2}\sum _{i=1}^n[y^{(i)}-f_{\theta }(x^{(i)}){]}^2$$
找到使 E(θ) 的值最小的 θ。这样的问题称为最优化问题。

3.最小二乘法

修改$\theta$使得$E(\theta )$越来越小，这种做法成为最小二乘法。

4.最速下降法

要让 E(θ) 越来越小，一边随意修改 θ 的值，一边计算 E(θ) 并与之前的值相比较的做法实在是太麻烦了。

微分是计算变化的快慢程度时使用的方法。

书中举了一个例子：
$$\begin{gathered} g(x)=x^2-2x+1 \\ \frac{dg(x)}{dx}=2x-2 \end{gathered}$$

• 增减表

• 图像

  

比如在 x = 3 这一点，为了使 g(x)的值变小，我们需要向左移动x，也就是必须减小 x。

只要向与导数的符号相反的方向移动 x，g(x) 就会自然而然地沿着最小值的方向前进了。

最速下降法或梯度下降法
$$x:=x-\eta \frac{dg(x)}{dx}$$

• $\eta$称为学习率的常数
• A:=B，就是用B来定义A

这个同样适用于目标函数（目标函数也是个开口向上的）
$$\begin{gathered} {\theta }_0:={\theta }_0-\eta \frac{\partial E}{\partial {\theta }_0} \\ {\theta }_1:={\theta }_1-\eta \frac{\partial E}{\partial {\theta }_1} \end{gathered}$$

复合函数的微分
$$\begin{gathered} u=E(\theta ) \\ v=f_{\theta }(x) \\ \frac{\partial u}{\partial {\theta }_0}=\frac{\partial u}{\partial v}\cdot \frac{\partial v}{\partial {\theta }_0} \end{gathered}$$
其中

所以有

同理可以得到 $\frac{\partial u}{\partial {\theta }_1}$

所以最终可以得到
$$\begin{gathered} {\theta }_0:={\theta }_0-\eta \frac{\partial E}{\partial {\theta }_0}={\theta }_0-\eta \sum _{i=1}^n[f_{\theta }(x^{(i)}-y^{(i)})] \\ {\theta }_1:={\theta }_1-\eta \frac{\partial E}{\partial {\theta }_1}={\theta }_0-\eta \sum _{i=1}^n[f_{\theta }(x^{(i)}-y^{(i)})]x^{(i)} \end{gathered}$$
根据这个表达式来更新${\theta }_0$和${\theta }_1$，就可以找到好的一次函数$f_{\theta }(x)$

缺点：

• 计算量大
• 计算时间长
• 容易陷入局部最优解

5.多项式回归

将一次函数拓展为多次函数，即
$$f_{\theta }(x)={\theta }_0+{\theta }_{1}x\to f_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+...+{\theta }_n{x}^n$$
同理，对于${\theta }_n$的更新规则也和最速下降法中一样

6.多重回归

将一次函数中的x变为多个x，即
$$f_{\theta }(x)={\theta }_0+{\theta }_{1}x\to f_{\theta }(x_1,x_2,...,x_n)={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$$
然后为了方便，我们可以用向量来表示
$$\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ...\\ {\theta }_n\end{array}\right],x=\left[\begin{array}{c}1\\ x_1\\ ...\\ x_n\end{array}\right]\text{\hspace{1em}(2)}$$
对应的
$$f_{\theta }(x)={\theta }^{T}x={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+...+{\theta }_n{x}^n$$
要求出合适的更新规则，其实也和前面的做法一样，复合函数求微分
$$\begin{gathered} u=E(\theta ) \\ v=f_{\theta }(x) \\ \frac{\partial u}{\partial {\theta }_j}=\frac{\partial u}{\partial v}\cdot \frac{\partial v}{\partial {\theta }_j} \end{gathered}$$
所以

对应的第j个参数的更新表达式为
$${\theta }_j:={\theta }_j-\eta \sum _{i=1}^n[f_{\theta }(x^{(i)}-y^{(i)})]x_j^{(i)}$$

7.随机梯度下降法

最速下降法的参数更新表达式
$${\theta }_j:={\theta }_j-\eta \sum _{i=1}^n[f_{\theta }(x^{(i)}-y^{(i)})]x_j^{(i)}$$
这个表达式使用了所有训练数据的误差，而在随机梯度下降法中会随机选择一个训练数据，并使用它来更新参数。这个表达式中的 k 就是被随机选中的数据索引。
$${\theta }_j:={\theta }_j-\eta [f_{\theta }(x^{(k)}-y^{(k)})]x_j^{(k)}$$
因此，最速下降法更新 1 次参数的时间，随机梯度下降法可以更新 n 次。

此外，随机梯度下降法由于训练数据是随机选择的，更新参数时使用的又是选择数据时的梯度，所以不容易陷入目标函数的局部最优解。

8.小批量梯度下降法

这个方法介于最速下降法和随机梯度下降法之间的方法。

• 最速下降法是用了全部的训练数据

• 随机梯度下降法是只用了一个数据。

• 小批量梯度下降法就是选择部分的数据。

假设训练数据有 100 个，那么在 m = 10 时，创建一个有 10 个随机数的索引的集合，例如 K = {61, 53, 59, 16, 30, 21, 85, 31, 51, 10}、

对应的更新规则为
$${\theta }_j:={\theta }_j-\eta \sum _{k\in K}[f_{\theta }(x^{(k)}-y^{(k)})]x_j^{(k)}$$