梯度，hesse阵与Jacobi矩阵

分清楚三个量的含义和计算方法。

梯度

表征的是一个列向量，是相对于某个方向而言的，但是某个方向上可能有多个变量，所以梯度不是简单的直接求偏导，并且说了，它是一个列向量，所以，
我们设 $f : F$ 是 $R^n$ -> $R$ 的一阶连续可微函数，则 $f$ 在 $x$ 处的一阶偏导数：
$\nabla$ $f (x)$ =( $\frac{\partial f(x)}{\partial x_1}$ , $\frac{\partial f(x)}{\partial x_1}$ , $\cdots$ , $\frac{\partial f(x)}{\partial x_n}$ ) $^T$
即：
$\nabla{f(x)}=\left(\begin{matrix}\frac{\partial f(x)}{\partial x_1} \\ \frac{\partial f(x)}{\partial x_2} \\ \vdots \\ \frac{\partial f(x)}{\partial x_n} \end{matrix} \right)$
所以说是一个 $R_n->R$ 的变换

hesse阵

在梯度的基础上就是二阶偏导就是hesse阵，注意由于是二阶偏导，所以不止是平方，还有混合偏导数的存在。

在这里插入图片描述
$\nabla^2{f(x)}$ =( $\frac{\partial^2{f}}{\partial{x_i}\partial{x_j}})_{n\times n}$

$\nabla^2f(x)=\left(\begin{matrix} \frac{\partial^2f}{\partial x_1^2} \frac {\partial^2f}{\partial x_1\partial x_2} \cdots \frac{\partial^2f}{\partial x_1\partial x_n} \\ \frac{\partial^2f}{\partial x_2 \partial x_1} \frac{\partial^2f}{\partial x_2^2} \cdots \frac{\partial^2f}{\partial x_2 \partial x_n} \\ \vdots \\ \frac{\partial^2f}{\partial x_n \partial x_1} \frac{\partial^2f}{\partial x_n \partial x_2} \cdots \frac{\partial^2f}{\partial x_n^2} \end{matrix} \right)$
每一行都已 $x_i$ 开始，然后求二阶继续从 $x_i$ 到 $x_n$ 求出

雅可比

其实是一种维度拓宽的梯度的表示方法，也就是 $f$ 是 $F\subseteq{R^n}\rightarrow{R^m}$ ， $x$ 在F上连续可微，则一阶导数为：
在这里插入图片描述

$F'(x)=(\frac{\partial{F_i(x)}}{\partial{x_j}})_{m\times n}\in{R^{m\times n}}$
也就是说，向量值函数的导数就是雅可比矩阵，向量中的每一项分别求梯度再组合起来。
比如：对于 $f:R^n \rightarrow R$
我们可以和梯度以及hesse阵联系起来看Jacobi矩阵，
$H(x)=J(\nabla f(x))$
$H(x)=\nabla^2f(x)$
梯度的Jacobi矩阵就是hesse阵。
举个例子说明一下：
在这里插入图片描述

以上用到的markdown语法
分数 $\frac{x}{y}$ \frac{x}{y}
偏导数 $\partial{f(x)}$ \partial{f(x)}
梯度 $\nabla{f(x)}$ \nabla{f(x)}
表示x_1^2的： $x_i^j$
×：\times
vdots
cdots
\leftarrow
\rightarrow
\in 属于
$\subseteq$ 包含 \subseteq