矩阵转置的基本性质

flyfish

标量的转置：标量（即单个数字）的转置是其自身。
向量的转置：列向量的转置是行向量，行向量的转置是列向量。
矩阵的转置：一个 $\times n$ 矩阵 $\mathbf{A}$ 的转置是一个 $\times m$ 矩阵 $\mathbf{A}^T$ ，其中 $\mathbf{A}^T$ 的第 $i$ 行第 $j$ 列的元素等于 $\mathbf{A}$ 的第 $j$ 行第 $i$ 列的元素。

向量和矩阵乘积的转置

对于两个矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ ，其乘积的转置满足以下性质：
$(\mathbf{A} \mathbf{B})^T = \mathbf{B}^T \mathbf{A}^T$

这意味着矩阵乘积的转置等于将每个矩阵分别转置后交换顺序再进行乘积。这是矩阵转置的一个基本性质。

应用到具体问题

在我们的具体问题中， $\mathbf{X}$ 是一个 $\times p$ 矩阵， $\beta$ 是一个 $\times 1$ 向量。因此， $\mathbf{X} \beta$ 是一个 $\times 1$ 向量。

我们需要计算 $(\mathbf{X} \beta)^T$ ：
$(\mathbf{X} \beta)^T$
根据矩阵转置的性质，矩阵乘积的转置等于将每个矩阵分别转置后交换顺序再进行乘积：
$(\mathbf{X} \beta)^T = \beta^T \mathbf{X}^T$
这里 $\mathbf{X} \beta$ 是一个 $\times 1$ 的向量，因此其转置是一个 $\times n$ 的向量。而 $\beta$ 是一个 $\times 1$ 的向量，其转置 $\beta^T$ 是一个 $\times p$ 的行向量。类似地， $\mathbf{X}$ 是一个 $\times p$ 的矩阵，其转置 $\mathbf{X}^T$ 是一个 $\times n$ 的矩阵。因此， $\beta^T \mathbf{X}^T$ 是一个 $\times n$ 的行向量。

具体例子

为了更好地理解这个性质，我们可以看一个具体的例子：

假设 $\mathbf{X}$ 是一个 $\times 3$ 的矩阵， $\beta$ 是一个 $\times 1$ 的向量：
$\mathbf{X} = \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \end{pmatrix}, \quad \beta = \begin{pmatrix} b_1 \\ b_2 \\ b_3 \end{pmatrix}$
则 $\mathbf{X} \beta$ 是：
$\mathbf{X} \beta = \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \end{pmatrix} \begin{pmatrix} b_1 \\ b_2 \\ b_3 \end{pmatrix} = \begin{pmatrix} a_{11}b_1 + a_{12}b_2 + a_{13}b_3 \\ a_{21}b_1 + a_{22}b_2 + a_{23}b_3 \end{pmatrix}$
然后 $(\mathbf{X} \beta)^T$ 是：
$(\mathbf{X} \beta)^T = \begin{pmatrix} a_{11}b_1 + a_{12}b_2 + a_{13}b_3 & a_{21}b_1 + a_{22}b_2 + a_{23}b_3 \end{pmatrix}$
而 $\beta^T \mathbf{X}^T$ 是：
$\mathbf{X}^T = \begin{pmatrix} a_{11} & a_{21} \\ a_{12} & a_{22} \\ a_{13} & a_{23} \end{pmatrix}, \quad \beta^T = \begin{pmatrix} b_1 & b_2 & b_3 \end{pmatrix}$
$\beta^T \mathbf{X}^T = \begin{pmatrix} b_1 & b_2 & b_3 \end{pmatrix} \begin{pmatrix} a_{11} & a_{21} \\ a_{12} & a_{22} \\ a_{13} & a_{23} \end{pmatrix} = \begin{pmatrix} b_1a_{11} + b_2a_{12} + b_3a_{13} & b_1a_{21} + b_2a_{22} + b_3a_{23} \end{pmatrix}$
我们可以看到 $(\mathbf{X} \beta)^T$ 和 $\beta^T \mathbf{X}^T$ 是相等的，这验证了上面的矩阵转置性质。

数值例子

考虑一个 $\times 3$ 的矩阵 $\mathbf{X}$ 和一个 $\times 1$ 的向量 $\beta$ ：
$\mathbf{X} = \begin{pmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{pmatrix}, \quad \beta = \begin{pmatrix} 7 \\ 8 \\ 9 \end{pmatrix}$
我们将计算 $(\mathbf{X} \beta)^T$ 和 $\beta^T \mathbf{X}^T$ ，并验证它们相等。

首先，计算 $\mathbf{X} \beta$ ：
$\mathbf{X} \beta = \begin{pmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{pmatrix} \begin{pmatrix} 7 \\ 8 \\ 9 \end{pmatrix} = \begin{pmatrix} 1 \cdot 7 + 2 \cdot 8 + 3 \cdot 9 \\ 4 \cdot 7 + 5 \cdot 8 + 6 \cdot 9 \end{pmatrix} = \begin{pmatrix} 50 \\ 122 \end{pmatrix}$
然后，计算 $(\mathbf{X} \beta)^T$ ：
$(\mathbf{X} \beta)^T = \begin{pmatrix} 50 & 122 \end{pmatrix}$
接下来，计算 $\beta^T \mathbf{X}^T$ ：
$\mathbf{X}^T = \begin{pmatrix} 1 & 4 \\ 2 & 5 \\ 3 & 6 \end{pmatrix}$
$\beta^T = \begin{pmatrix} 7 & 8 & 9 \end{pmatrix}$
$\beta^T \mathbf{X}^T = \begin{pmatrix} 7 & 8 & 9 \end{pmatrix} \begin{pmatrix} 1 & 4 \\ 2 & 5 \\ 3 & 6 \end{pmatrix} = \begin{pmatrix} 7 \cdot 1 + 8 \cdot 2 + 9 \cdot 3 & 7 \cdot 4 + 8 \cdot 5 + 9 \cdot 6 \end{pmatrix} = \begin{pmatrix} 50 & 122 \end{pmatrix}$
我们可以看到， $(\mathbf{X} \beta)^T$ 和 $\beta^T \mathbf{X}^T$ 是相等的。

用Python验证

import numpy as np# 定义矩阵和向量
X = np.array([[1, 2, 3], [4, 5, 6]])
beta = np.array([[7], [8], [9]])# 计算 X beta
X_beta = np.dot(X, beta)# 计算 (X beta)^T
X_beta_T = X_beta.T# 计算 X^T
X_T = X.T# 计算 beta^T X^T
beta_T_X_T = np.dot(beta.T, X_T)# 打印结果
print("X beta:\n", X_beta)
print("(X beta)^T:\n", X_beta_T)
print("beta^T X^T:\n", beta_T_X_T)# 验证 (X beta)^T 和 beta^T X^T 是否相等
print("Are (X beta)^T and beta^T X^T equal? ", np.array_equal(X_beta_T, beta_T_X_T))

运行上述代码，输出如下：

X beta:[[ 50][122]]
(X beta)^T:[[ 50 122]]
beta^T X^T:[[ 50 122]]
Are (X beta)^T and beta^T X^T equal?  True

可以看到， $(\mathbf{X} \beta)^T$ 和 $\beta^T \mathbf{X}^T$ 的结果是相等的。

矩阵转置的其他性质

双重转置：一个矩阵的双重转置等于它本身： $(\mathbf{A}^T)^T = \mathbf{A}$
和的转置：两个矩阵和的转置等于各自转置的和： $(\mathbf{A} + \mathbf{B})^T = \mathbf{A}^T + \mathbf{B}^T$
数乘的转置：数乘矩阵的转置等于数乘矩阵的转置： $(c\mathbf{A})^T = c\mathbf{A}^T \quad \text{其中} \ c \ \text{是一个标量}$
积的转置：两个矩阵积的转置等于各自转置的乘积，顺序交换： $(\mathbf{A} \mathbf{B})^T = \mathbf{B}^T \mathbf{A}^T$
单位矩阵的转置：单位矩阵的转置仍然是单位矩阵： $\mathbf{I}^T = \mathbf{I}$

import numpy as np# 1. 双重转置：((A^T)^T = A)
A = np.array([[1, 2, 3], [4, 5, 6]])
A_T = A.T
A_T_T = A_T.T
print("A:\n", A)
print("(A^T)^T:\n", A_T_T)
print("Are A and (A^T)^T equal? ", np.array_equal(A, A_T_T))# 2. 和的转置：((A + B)^T = A^T + B^T)
A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])
A_plus_B = A + B
A_plus_B_T = A_plus_B.T
A_T = A.T
B_T = B.T
A_T_plus_B_T = A_T + B_T
print("\nA + B:\n", A_plus_B)
print("(A + B)^T:\n", A_plus_B_T)
print("A^T + B^T:\n", A_T_plus_B_T)
print("Are (A + B)^T and A^T + B^T equal? ", np.array_equal(A_plus_B_T, A_T_plus_B_T))# 3. 数乘的转置：(cA)^T = c(A^T)
c = 2
A = np.array([[1, 2], [3, 4]])
cA = c * A
cA_T = cA.T
A_T = A.T
c_A_T = c * A_T
print("\ncA:\n", cA)
print("(cA)^T:\n", cA_T)
print("c(A^T):\n", c_A_T)
print("Are (cA)^T and c(A^T) equal? ", np.array_equal(cA_T, c_A_T))# 4. 积的转置：((AB)^T = B^T A^T)
A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])
AB = np.dot(A, B)
AB_T = AB.T
A_T = A.T
B_T = B.T
B_T_A_T = np.dot(B_T, A_T)
print("\nAB:\n", AB)
print("(AB)^T:\n", AB_T)
print("B^T A^T:\n", B_T_A_T)
print("Are (AB)^T and B^T A^T equal? ", np.array_equal(AB_T, B_T_A_T))# 5. 单位矩阵的转置：I^T = I
I = np.eye(3)
I_T = I.T
print("\nI:\n", I)
print("I^T:\n", I_T)
print("Are I^T and I equal? ", np.array_equal(I_T, I))

A:[[1 2 3][4 5 6]]
(A^T)^T:[[1 2 3][4 5 6]]
Are A and (A^T)^T equal?  TrueA + B:[[ 6  8][10 12]]
(A + B)^T:[[ 6 10][ 8 12]]
A^T + B^T:[[ 6 10][ 8 12]]
Are (A + B)^T and A^T + B^T equal?  TruecA:[[2 4][6 8]]
(cA)^T:[[2 6][4 8]]
c(A^T):[[2 6][4 8]]
Are (cA)^T and c(A^T) equal?  TrueAB:[[19 22][43 50]]
(AB)^T:[[19 43][22 50]]
B^T A^T:[[19 43][22 50]]
Are (AB)^T and B^T A^T equal?  TrueI:[[1. 0. 0.][0. 1. 0.][0. 0. 1.]]
I^T:[[1. 0. 0.][0. 1. 0.][0. 0. 1.]]
Are I^T and I equal?  True