内积

• 高等代数中,内积是较为抽象的概念,这里我们仅讨论内积的简化版本,也是具象化的版本
• 内积是一个二元实函数,它满足内积的抽象定义(下面的性质一节提到的4个条件),

符号说明

• 两个向量 $\mathbf{a}=(a_1,\cdots ,a_n{)}^T$,$\mathbf{b}=(b_1,\cdots ,b_n{)}^T$ 的点积可以用圆括号或中括号或尖括号表示:
  1. $(\mathbf{a},\mathbf{b})$
  2. $<\mathbf{a},\mathbf{b}>$
  3. $[\mathbf{a},\mathbf{b}]$
• 这里讨论的内积是向量内积(二元函数$(\mathbf{a},\mathbf{b})$=${\sum }_{i=1}^n{a}_i{b}_i$),是满足抽象内积定义的具体函数

向量内积

• 两个同维数(规格)的$n$维向量$\mathbf{a},\mathbf{b}$的点积(dot product)定义为$[\mathbf{a},\mathbf{b}]$=${\sum }_{i=1}^n{a}_i{b}_i$

  • 此处,$n$维向量指向量包含的元素个数为$n$
  • 尽管向量默认表示为列向量,但$\mathbf{a},\mathbf{b}$有时不都是列向量,仍然可以使用上述公式计算点积
  • 当$\mathbf{a},\mathbf{b}$都是列向量时,可以用矩阵乘法的形式表示内积,$[\mathbf{a},\mathbf{b}]={\mathbf{a}}^T\mathbf{b}$
  • 作为对比$\mathbf{a}{\mathbf{b}}^{\mathbf{T}}$的结果是一个$n$阶矩阵,而${\mathbf{a}}^{\mathbf{T}}\mathbf{b}$是一个标量

• 点积也称为内积

  • $$\mathbf{a}\cdot \mathbf{b}=\sum _{i=1}^n{a}_i{b}_i=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$$

• 向量点积的结果是一个标量

性质

对称性

• $(\alpha ,\beta )=(\beta ,\alpha )$
• 点积满足交换律(而一般的矩阵乘法是不满足交换律的)

线性性

1. $(k\alpha ,\beta )=(\alpha ,k\beta )=k(\alpha ,\beta )$

   • $$\sum _{i}k{\alpha }_i{\beta }_i=\sum _i{\alpha }_{i}k{\beta }_i=k\sum _i{\alpha }_i{\beta }_i$$

2. $(\alpha +\beta ,\gamma )=(\alpha ,\gamma )+(\beta ,\gamma )$

   • $$\sum _i(\alpha +\beta {)}_i{\delta }_i=\sum _i({\alpha }_i{\delta }_i+{\beta }_i{\delta }_i)=\sum _i{\alpha }_i{\delta }_i+\sum _i{\beta }_i{\delta }_i$$

   • 推广:$(\sum {\alpha }_i,\beta )=\sum ({\alpha }_i,\beta )$

     $$\sum _i\left((\sum _j{\alpha }_j){\beta }_i\right)=\sum _i(\sum _j{\alpha }_j{\beta }_i)$$

正定性

1. $(\alpha ,\alpha )⩾0$当且仅当$\alpha =0$时,$(\alpha ,\alpha )=0$

   • $$({\alpha }_i,{\alpha }_i)=\sum _i{\alpha }_i^2⩾0$$

推论:柯西-布尼亚科夫斯基-施瓦茨公式(柯西不等式)

• 线性代数教材的介绍可能比较简略,可以参考高等代数教材,证明方法有许多
• $(\mathbf{a},\mathbf{b}{)}^2⩽(\mathbf{a},\mathbf{a})(\mathbf{b},\mathbf{b})$
• 在人教版高中数学不等式选讲中涉及过这个公式的简化版本,下面介绍高等代数中介绍的简明证明方法
• 证明:
  • 当$\mathbf{b}=0$时,不等式成立
  • 当$\mathbf{b}\ne 0$时,令$t$是一个实变数,并构造向量$\mathbf{c}=\mathbf{a}+t\mathbf{b}$
  • 由内积的非零性质由$(\mathbf{c},\mathbf{c})⩾0$
    • $F(t)=(\mathbf{a}+t\mathbf{b},\mathbf{a}+t\mathbf{b})⩾0$
    • 由内积的线性性质,$F(t)$可以展开并化简为:
      • =$(\mathbf{a},\mathbf{a}+t\mathbf{b})+(t\mathbf{b},\mathbf{a}+t\mathbf{b})$=$(\mathbf{a},\mathbf{a})+(\mathbf{a},t\mathbf{b})$+$(t\mathbf{b},\mathbf{a})$+$(t\mathbf{b},t\mathbf{b})$
      • =$(\mathbf{b},\mathbf{b})t^2+2(\mathbf{a},\mathbf{b})t+(\mathbf{a},\mathbf{a})$
  • 方法1:
    • 可见,$F(t)$是关于$t$的一元二次函数,由因为$F(t)⩾0$,二次项系数$(\mathbf{b},\mathbf{b})>0$,抛物线$F(t)$开口向上且至多于$t$轴有一个交点,从而$\Delta =4(\mathbf{a},\mathbf{b}{)}^2-4(\mathbf{b},\mathbf{b})(\mathbf{a},\mathbf{a})⩾0$
    • 即$(\mathbf{a},\mathbf{b}{)}^2⩽(\mathbf{a},\mathbf{a})(\mathbf{b},\mathbf{b})$
  • 方法2:取$t=-\frac{(\mathbf{a},\mathbf{b})}{(\mathbf{b},\mathbf{b})}$,代入$F(t)$,得$F(t)$=$(\mathbf{b},\mathbf{b})\frac{(\mathbf{a},\mathbf{b}{)}^2}{(\mathbf{b},\mathbf{b}{)}^2}$-$2(\mathbf{a},\mathbf{b})\frac{(\mathbf{a},\mathbf{b})}{(\mathbf{b},\mathbf{b})}$+$(\mathbf{a},\mathbf{a})$=$-\frac{(\mathbf{a},\mathbf{b}{)}^2}{(\mathbf{b},\mathbf{b})}$+$(\mathbf{a},\mathbf{a})$ $⩾0$
    • 所以$(\mathbf{a},\mathbf{b}{)}^2⩽(\mathbf{a},\mathbf{a})(\mathbf{b},\mathbf{b})$

解系几何向量的数量积和线性代数向量内积

• 在解系几何中,我们引进向量的数量积:$\mathbf{x},\mathbf{y}=|x||y|\cos \theta$
  • 在三维空间直角坐标系,数量积的计算公式为$(x_1,x_2,x_3)\cdot (y_1,y_2,y_3)$=${\sum }_{i=1}^3{x}_i{y}_i$
• 而$n$维向量的内积是数量积的一种推广;但是$n$维向量没有低维(n=3)维那样的长度和夹角的概念
• 因此,只能按照数量积的直角坐标计算公式来推广:$(x_1,\cdots ,x_n)(y_1,\cdots ,y_n)$=${\sum }_{i=1}^n{x}_i{y}_i$
• 然后利用推广得到的内积公式反过来定义$n$维向量的长度,夹角(抽象的,高维的长度和夹角)

n维向量的长度(范数)

• 令$||\mathbf{x}||=\sqrt{(\mathbf{x},\mathbf{x})}$=$\sqrt{{\sum }_{i=1}^n{x}_i^2}$,$||\mathbf{x}||$称为$n$维向量$\mathbf{x}$的长度或范数
  • $||\mathbf{x}|{|}^2=(\mathbf{x},\mathbf{x})$=${\sum }_{i=1}^n{x}_i^2$

向量长度的性质

• 向量长度具有解析几何中向量长度的基本属性
  • 非负性:$\mathbf{x}\ne 0$时,$||\mathbf{x}||>0$;当$\mathbf{x}=0$时,$||\mathbf{x}||=0$
  • 齐次性:$||\lambda \mathbf{x}||=|\lambda |||\mathbf{x}||$
    • $||\lambda \mathbf{x}||$=$\sqrt{(\lambda \mathbf{x},\lambda \mathbf{x})}$=$\sqrt{{\lambda }^2(\mathbf{x},\mathbf{x})}$=$|\lambda |||\mathbf{x}||$

单位向量

• 当$||\mathbf{x}||=1$时,$\mathbf{x}$是单位向量

单位化

• 若$\mathbf{a}\ne 0$,取$\mathbf{x}=\frac{\mathbf{a}}{||a||}$,则$\mathbf{x}$是单位向量
• 非单位向量单位化的过程称为单位化

向量夹角

• 由施瓦茨不等式:$(\mathbf{x},\mathbf{y}{)}^2⩽(\mathbf{x},\mathbf{x})(\mathbf{y},\mathbf{y})$,即 $-\sqrt{(\mathbf{x},\mathbf{y})(\mathbf{y},\mathbf{y})}$ $⩽$ $(\mathbf{x},\mathbf{y})$ $⩽$ $\sqrt{(\mathbf{x},\mathbf{y})(\mathbf{y},\mathbf{y})}$
  • $-||\mathbf{x}||||\mathbf{y}||$ $⩽$ $(\mathbf{x},\mathbf{y})$ $⩽$ $||\mathbf{x}||||\mathbf{y}||$
  • $-1⩽\frac{(\mathbf{x},\mathbf{y})}{||\mathbf{x}||||\mathbf{y}||}⩽1$
• 当$\mathbf{x}\ne 0,\mathbf{y}\ne 0$时,$\theta =\arccos \frac{(\mathbf{x},\mathbf{y})}{||\mathbf{x}||||\mathbf{y}||}$称为$n$维向量$\mathbf{x},\mathbf{y}$的夹角

向量正交

• 当$(\mathbf{x},\mathbf{y})=0$时,$\mathbf{x},\mathbf{y}$正交, 正交（orthogonal）,记为$\mathbf{x}\perp \mathbf{y}$
• 若$\mathbf{x}=0$,$\mathbf{x}$与任意向量正交
• 对于二维,三维向量,两个向量正交的几何解释是两条有向线段构成垂直关系
• $n$维向量垂直是这一事实的推广

标准正交

• 在 ${\mathbb{R}}^n$ 中，至多有 $n$ 个范数非零向量互相正交

• 如果这些向量不仅互相正交，并且范数都为 1，那么我们称它们是 标准正交（orthonormal）。

正交向量组

• 一组两两正交的非零向量组称为正交向量组

  • 若$A:{\alpha }_1\cdots ,{\alpha }_n$,${\alpha }_i\ne 0,i=1,2,\cdots ,n$中向量两两正交,$({\alpha }_i,{\alpha }_j)=0,(i\ne j),i,j=1,2,\cdots ,n$,则称$A$是一个正交向量组,记为$A_{\perp }$

  • 简单说就是向量间两两正交的向量组是正交向量组

  • 显然有

    • $$\begin{gathered} ({\alpha }_i,{\alpha }_j)=\{\begin{array}{ll}0,& i\ne j\\ r,& i=j\end{array} \\ r>0 \end{gathered}$$

正交向量组线性无关

• 正交向量组$A_{\perp }:{\alpha }_1,\cdots ,{\alpha }_n$线性无关

• 证明

  • 设存在常数$k_1,\cdots ,k_n$

    • ${\sum }_i^n{k}_i{\alpha }_i=0$

  • 设 α p , p ∈ { 1 , 2 , ⋯ , n } \alpha_{p},p\in\{1,2,\cdots,n\} αp​,p∈{1,2,⋯,n},我们将通过证明$k_i=0,i=1,\cdots ,n$来说明$A$线性无关

  • 两边同时和${\alpha }_p$做内积:$({\alpha }_p,{\sum }_i^n{k}_i{\alpha }_i)=({\alpha }_p,0)$

    • 由内积运算的线性性,等式左边L=${\sum }_i^n({\alpha }_p,k_i{\alpha }_i)$=${\sum }_i^n{k}_i({\alpha }_p,{\alpha }_i)$,当$p\ne i$时$({\alpha }_p,{\alpha }_i)=0$,所以$L=k_p({\alpha }_p,{\alpha }_p)$
    • 等式右边$R=0$
    • 所以$k_p({\alpha }_p,{\alpha }_p)=0$,而$({\alpha }_p,{\alpha }_p)>0$所以$k_p=0$

  • 不失一般性,当$p=1,\cdots ,n$时都有$k_p=0$,所以$k_1,\cdots ,k_n=0$,

  • 所以$A$线性无关

记号补充Note

• $({\alpha }_p,{\alpha }_i)=0$,if $p\ne i$

• $({\alpha }_p,{\alpha }_i)>0$,if $p=i$

• 或者描述为:
  $$({\alpha }_p,{\alpha }_{\overline{p}})=0$$

  • p , p ‾ ∈ { 1 , 2 , ⋯ , n } p,\overline{p}\in\{1,2,\cdots,n\} p,p​∈{1,2,⋯,n},$\overline{p}\ne p$

例

• 已知向量${\mathbf{a}}_1=(1,1,1{)}^T$,${\mathbf{a}}_2=(1,-2,1{)}^T$,求非零向量${\mathbf{a}}_3$,使得${\mathbf{a}}_1,{\mathbf{a}}_2,{\mathbf{a}}_3$构成正交向量组

• 解

  • 设${\mathbf{a}}_3=(x_1,x_2,x_3{)}^T$

  • $({\mathbf{a}}_1,{\mathbf{a}}_3)=0$;$({\mathbf{a}}_2,{\mathbf{a}}_3)=0$

  • 容易联想到构造线性方程组$\mathbf{Ax}=0$,其中系数矩阵$A$为:

  • $$\begin{gathered} A=({\mathbf{a}}_1^T,{\mathbf{a}}_2^T)=\left(\begin{array}{ccc}1& 1& 1\\ 1& -2& 1\end{array}\right) \\ \mathbf{Ax}=\left(\begin{array}{ccc}1& 1& 1\\ 1& -2& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right) \end{gathered}$$

  • 解得$x_1=-x_3,x_2=0$;基础解系可取$(-1,0,1{)}^T$

  • 取$\mathbf{a}=(-1,0,1{)}^T$满足要求,其任意常数被也满足要求

标准正交基👺

• 设$n$维向量$V_p:{\mathbf{e}}_1,\cdots ,{\mathbf{e}}_r$是向量空间$V(V\subseteq {\mathbb{R}}^n)$的一个基,若${\mathbf{e}}_1,\cdots ,{\mathbf{e}}_r$两两正交且都是单位向量,则$V_p$是$V$的一个标准正交基

  • 另一种描述:若向量空间$V$的基$V_p:{\mathbf{e}}_1,\cdots ,{\mathbf{e}}_r$是正交向量组且每个向量都是单位向量,则称$V_p$为$V$标准正交基(规范正交基)

• 使用Kronnecker符号描述,$V_p:{\mathbf{e}}_1,\cdots ,{\mathbf{e}}_r$是向量空间$V$的基,且满足

  • $$({\mathbf{e}}_i,{\mathbf{e}}_j)={\delta }_{ij}=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}(i,j=1,2,\cdots ,r)$$

  • 则$V_p$是$V$的标准正交基

Kronecker函数

• 专用符号${\delta }_{ij}$是Kronecker符号

  • 在数学中，克罗内克函数（又称克罗内克δ函数、克罗内克$\delta$)

  • $\delta$ 是一个二元函数，得名于德国数学家利奥波德·克罗内克。

  • 克罗内克函数的自变量（输入值）一般是两个整数，

    • 如果两者相等，则其输出值为1.否则为0

    • $${\delta }_{ij}=\delta (i,j)=\{\begin{array}{cc}1& (i=j)\\ 0& (i\ne j)\end{array}$$

  • 克罗内克函数的值一般简写为 ${\delta }_{ij}$

• 克罗内克函数和狄拉克δ函数都使用δ作为符号

  • 但是克罗内克δ用的时候带两个下标，

  • 而狄拉克δ函数则只有一个变量。

标准正交基表示任意向量

• 若$V_p:{\mathbf{e}}_1,\cdots ,{\mathbf{e}}_r$是$V$的一个标准正交基,那么$V$中的任意向量$\mathbf{a}$能被$V_p$线性表示:$\mathbf{a}={\sum }_{i=1}^r{\lambda }_i{\mathbf{e}}_i$
• 对上式两变同时左乘${\mathbf{e}}_k^T$达到去虚留实操作的效果:${\mathbf{e}}_k^T\mathbf{a}$=${\sum }_{i=1}^r{\lambda }_i{\mathbf{e}}_k^T{\mathbf{e}}_i$=${\lambda }_k{\mathbf{e}}_k^T{\mathbf{e}}_k$=${\lambda }_k||{\mathbf{e}}_k||$=${\lambda }_k$
• 可见,${\lambda }_k,k=1,\cdots ,r$的计算公式为${\lambda }_k={\mathbf{e}}_k^T\mathbf{a}$=$(\mathbf{a},{\mathbf{e}}_k)$
• 则向量$\mathbf{a}$关于基$V_p$的坐标$({\lambda }_1,\cdots ,{\lambda }_r)$可以方便的计算
• 因此我们在给向量空间取基的时候常取标准正交基

内积补充

• 内积空间（英语：Inner product space）是数学中的线性代数里的基本概念，是增添了一个额外的结构的向量空间。这个额外的结构叫做**内积**或标量积。

• 内积将一对向量与一个标量连接起来，允许我们严格地谈论向量的“夹角”和“长度”，并进一步谈论向量的正交性。

• 内积空间由欧几里得空间抽象而来（内积是点积的抽象）

• 内积空间有时也叫做准希尔伯特空间（pre-Hilbert space）