让我们考虑一个问题,其中我们有一个y变量和多个x变量,它们都被测量为时间序列。举个例子,我们可以将y设定为高速公路上每月的事故数量,而x则表示每月在高速公路上的交通量,观测时间为连续的120个月。一个多元(时间序列)回归模型可以写成:
在这个背景下经常出现的困难是误差()可能彼此相关。换句话说,我们存在自相关或者误差之间的依赖关系。
我们可以考虑这样一种情况,即某个特定时间点上的误差与前一个时间点上的误差呈线性关系。也就是说,误差本身遵循一个简单的线性回归模型,可以写成:
在这里,被称为自相关参数,而项是一个新的误差项,它遵循我们对回归误差的通常假设:
这里“iid”代表“独立同分布”。
因此,这个模型表明时间t的误差可以通过时间t-1的误差的一部分加上一些新的扰动来进行预测。
我们对原始的Y与X回归的误差的模型是一个自回归模型,具体来说是AR(1)模型。误差可能具有自回归结构的一个原因是,时间t的Y和X变量可能与时间t-1的Y和X测量相关(并且很可能是相关的)。这些关系被吸收到我们多元线性回归模型的误差项中,该模型仅关联同一时间点上的Y和X测量。
请注意,误差的自回归模型违反了误差独立性的假设,这给普通最小二乘法估计的β系数带来了理论上的困难。当误差具有自回归结构时,有几种不同的方法可以估计Y与X关系的回归参数。
误差项仍然具有均值为0和恒定方差:
然而,相邻误差项之间的协方差(衡量两个变量之间的关系)为:
这意味着相邻误差项之间的相关系数(衡量两个变量之间的关系,无单位)为:
也就是我们上面介绍的自相关参数。
我们可以使用偏自相关函数(Partial Autocorrelation Function,PACF)图来帮助我们评估自回归误差模型中合适的滞后项。具体而言,我们首先对时间序列数据进行多元线性回归拟合,并存储残差。然后,我们可以观察残差的PACF与滞后的关系图。显著不等于0的大样本偏自相关表示滞后项m可能是n的有用预测变量之一