ols残差_涨知识丨OLS原理的矩阵方法很难？Just So So

对计量经济学初学者而言，OLS原理的矩阵表示通常令人“发怵”。其原因主要在于，至少在财经类课程体系中，关于矩阵微分的先行课程是缺失的。鉴于计量经济学的进阶课程大多采用矩阵语言，笔者认为有必要专文论述如何“搞掂”关于OLS原理的矩阵方法，以降低后续学习的门槛。

一、从OLS的基本原理谈起

对于多元回归模型(1)：

OLS原理就是，选择参数估计值以使得残差平方和最小，即：

若定义目标函数为Q，则由上述最优化问题的一阶条件可形成一个包括k+1个正规方程的方程组。

求解上述正规方程组(3)，即获得各个参数的OLS估计量。现在若我们引入向量与矩阵定义：

则多元回归模型(1)可表示为：

最优化问题(2)可表示为：

正规方程组(3)可表示为：

二、矩阵微分规则的引出与应用

我们考察式(6)。在这里，

与0是k+1维列向量。用式(6)来描述正规方程组(3)，看似十分平凡，但其实隐含了一个关于矩阵微分的一般规则：一个标量对一个m维列向量求导，等价于该标量对这个m维列向量中的每一个元素求导，其求导结果是一个m维列向量。这是一个简单而重要的规则，接下来我们将反复利用此规则。最优化问题(5)的目标函数Q可进一步展开成：

由于标量Q只可能被分解成标量，式(7)中最后一个等号右边的四项均为标量，并且有：

根据式(8)，我们需依次解决四个问题：

(一)

标量

，其不是

中任何元素的函数。因此，有：

从形式上看，式(9)与我们在《微积分》课程中所熟悉的微分规则

是一致的，其中

为常数，

为变量。这里的0是标量，而式(9)中的0是k+1维列向量。

(二)

由于

为标量，而

为k+1维列向量，我们可迅速判断

为k+1维行向量。若定义：

，则

。显然有：

从形式上看，式(10)与我们在《微积分》课程中所熟悉的微分规则

是一致的。关键的差别在于，在式(10)中，

不能同

那样，被直接置于等号右边——为了满足矩阵微分规则，我们还需对其进行转置处理，以使其变为一个列向量。

(三)

敏锐的读者会发现，由于标量的转置等于标量本身，即有：

故有：

当然，我们还可将标量

中的因式

定义为列向量

，从而有：

。因此，

。从形式上看，式(12)与我们在《微积分》课程中所熟悉的微分规则

是一致的。重要的是，在这里，

能同

那样，被直接置于等号右边。如此处理满足矩阵微分规则，原因在于

是一个列向量。

(四)

现在我们碰到了棘手的问题——在

中，

出现了两次。但非常幸运的是，对问题(一)、(二)与(三)的讨论已暗示，这个求导结果也应该与传统的微分规则具有一定的一致性。关于函数积的微分规则表明：

参照式(13)中第二个等号右边的表达式，我们可以猜测：

在这里，我们很容易注意到：

为列向量；

为行向量。为了满足矩阵微分规则，我们需要对行向量

取转置，以将其转化为列向量。在回答问题(一)、(二)与(三)时，我们对相应的矩阵微分规则进行了具体的验证。当然我们也可以验证式(14)是成立的，但由于比较复杂，在此略去。三、OLS估计量的“三步”记忆法及启示将式(9)、(10)、(12)、(14)带入式(8)，并结合式(6)，有：

进而有：

假定

的

逆存在，则有：

(一)“三步”记忆法

我们可通过如下“三步”来记忆式(17)：Step1：

。注意，等式两边左乘

而不是

。考虑矩阵的维数，

显然是无意义的。Step2：

。前提是

存在。Step3：省略

，则有

。既然两者近似相等，那么就以

作为

的估计量。

(二)启示

如果

能省略，那么意味着

。但这有何依据呢？为了回答此问题，我们来考察列向量

：

由式(18)可知，若式(19)成立，则省略

就是比较合理的。

那么，式(19)意味着什么呢？很容易发现，其意味着：第一，误差项的样本均值近似为零；第二，误差项与任何一个解释变量均近似地样本不相关。现在的问题是，上述两个结论成立吗？答案是，若“误差项期望值等于零”与“误差项与任意解释变量均不相关”这两大假定成立，则上述两个结论至少在大样本下是成立的。原因在于，这两大假定是两个总体矩条件，上述两个结论其实是相应的样本矩条件，而根据矩估计原理，样本矩是对总体矩的一致估计。根据上述讨论，我们可以获得两大启示：第一，给定上述两个假定成立，OLS估计本质上是矩估计的特例；第二，如果上述两个假定不成立，那么OLS估计量

就不会是对真实参数向量