给一种不严密但有用的理解方式：

1 向量的“倒数”

记向量$\mathrm{x}=(x_1,x_2,\dots ,x_n{)}^T$，其倒数记为：${\mathrm{x}}^{-1}=(\frac{1}{x_1},\frac{1}{x_2},\dots ,\frac{1}{x_n}{)}^T$，不难得出它们的内积为：
$${\mathrm{x}}^T{\mathrm{x}}^{-1}=(x_1,x_2,\dots ,x_n)\left(\begin{array}{c}\frac{1}{x_1}\\ \frac{1}{x_2}\\ ⋮\\ \frac{1}{x_n}\end{array}\right)=n\text{\hspace{1em}(1)}$$
对应地，它们的外积可以写为：
$${\mathrm{x}}^{-1}{\mathrm{x}}^T=\left(\begin{array}{c}\frac{1}{x_1}\\ \frac{1}{x_2}\\ ⋮\\ \frac{1}{x_n}\end{array}\right)(x_1,x_2,\dots ,x_n)=\left(\begin{array}{cccc}\frac{x_1}{x_1}& \frac{x_2}{x_1}& \dots & \frac{x_n}{x_1}\\ \frac{x_1}{x_2}& \frac{x_2}{x_2}& \dots & \frac{x_n}{x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{x_1}{x_n}& \frac{x_2}{x_n}& \dots & \frac{x_n}{x_n}\end{array}\right)\text{\hspace{1em}(2)}$$

注：

1. 向量“倒数”是一种不严密的说法，但由上述推导可知，其形式上与标量的倒数类似，便于从标量函数的导数过渡;
2. 向量外积此处应称为outer product，不同于叉积cross product。其几何意义可参考：点乘，叉乘，内积，外积之间都是什么关系？怎么用？

由向量“倒数”不难得到向量“除法”的定义，此处记 $\mathrm{y}=(y_1,y_2,\dots ,y_m{)}^T$
$$\frac{\mathrm{y}}{\mathrm{x}}={\mathrm{x}}^{-1}(\mathrm{y}{)}^T=\left(\begin{array}{c}\frac{1}{x_1}\\ \frac{1}{x_2}\\ ⋮\\ \frac{1}{x_n}\end{array}\right)(y_1,y_2,\dots ,y_m)=\left(\begin{array}{cccc}\frac{y_1}{x_1}& \frac{y_2}{x_1}& \dots & \frac{y_m}{x_1}\\ \frac{y_1}{x_2}& \frac{y_2}{x_2}& \dots & \frac{y_m}{x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{y_1}{x_n}& \frac{y_2}{x_n}& \dots & \frac{y_m}{x_n}\end{array}\right)\text{\hspace{1em}(3)}$$
特别地，标量除以向量即可定义为：
$$\frac{y}{\mathrm{x}}=\left[\begin{array}{c}\frac{y}{x_1}\\ \frac{y}{x_2}\\ ⋮\\ \frac{y}{x_n}\end{array}\right]\text{\hspace{1em}(4)}$$

2 标量对向量求导

$$\frac{\partial y}{\partial \mathrm{x}}=\left[\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ ⋮\\ \frac{\partial y}{\partial x_n}\end{array}\right]\text{\hspace{1em}(5)}$$

注意：此时约定标量$y$是向量$\mathrm{x}$的函数，即$y=y(\mathrm{x})$，以下类似。

不难注意到，此时该导数$\frac{\partial y}{\partial \mathrm{x}}$ 即是多元函数$y=y(\mathrm{x})$的梯度。

3 向量对向量求导

$$\frac{\partial \mathrm{y}}{\partial \mathrm{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \dots & \frac{\partial y_m}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \dots & \frac{\partial y_m}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& \dots & \frac{\partial y_m}{\partial x_n}\end{array}\right]\text{\hspace{1em}(6)}$$

该矩阵即是Jacobi矩阵。

4 向量对标量求导

$$\frac{\partial \mathrm{y}}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x}& \frac{\partial y_2}{\partial x}& \dots & \frac{\partial y_m}{\partial x}\end{array}\right]\text{\hspace{1em}(7)}$$

注意：向量对标量求导后得到的向量与被求导向量的布局刚好互为转置，这是因为我们采用的是“前导不变后导转置”法则。

5 分子布局与分母布局

以上向量求导的布局方式均采用分母布局，另有一种记法为分子布局。在诸多文献中，分子布局的使用频率更高，但在统计计算中，使用分母布局更为自然。二者得到的结果互为转置即可。
最简单的记忆方式为：

• 分母布局：计算结果的行数与分母保持一致
• 分子布局：计算结果的行数与分子保持一致