从这节开始，将学习共轭方向法的相关内容，本篇先做一个简短的开篇。共轭方向法的计算效率不如之前的牛顿法，但是也优于最速下降法。它有以下优势：

1. 对于$n$维二次型问题，能够在$n$步之内得到结果；
2. 作为共轭方向的典型代表，共轭梯度法不需要计算hessian矩阵；
3. 不需要存储$n \times n$矩阵，也不需要对其进行求逆运算。

     如果$\mathbb{R}^n$中的两个方向$\boldsymbol{d}^{(1)}$和$\boldsymbol{d}^{(2)}$满足$\boldsymbol{d}^{(1)T}\boldsymbol{Q}\boldsymbol{d}^{(2)}=0$，则他们是关于$\boldsymbol{Q}$共轭的。由此给出以下的定义：
定义1 $\boldsymbol{Q}$为$n \times n$的对称实矩阵，对于方向$\boldsymbol{d}^{(0)}，\boldsymbol{d}^{(1)}， \dots, \boldsymbol{d}^{(m)}$，如果对于所有$i \neq j$,有$\boldsymbol{d}^{(i)T}\boldsymbol{Q}\boldsymbol{d}^{(j)}=0$，则称他们是关于$\boldsymbol{Q}$共轭的。

引理1 $\boldsymbol{Q}$为$n \times n$的对称正定矩阵，如果方向$\boldsymbol{d}^{(0)}，\boldsymbol{d}^{(1)}， \dots, \boldsymbol{d}^{(k)} \in \mathbb{R}^n, k \leq n-1$非零，且是关于$\boldsymbol{Q}$共轭的，那么它们是线性无关的。