本文是学习这本书的笔记

网站是：https://web.stanford.edu/~boyd/vmls/

矩阵-向量乘法的行与列的解释

矩阵-向量乘法（Matrix-Vector Multiplication）是线性代数中的基本操作，也是机器学习、数据科学和工程中常用的数学工具。本文将详细解释矩阵-向量乘法中的“行与列”的两种视角，并通过实际例子帮助理解其背后的数学意义。

---

1. 什么是矩阵-向量乘法？

矩阵 ($A$) 和向量 ($x$) 的乘积可以用下面的公式表示：
$$y=Ax$$
其中：

• 矩阵 ($A\in {\mathbb{R}}^{m\times n}$) 是一个 ($m\times n$) 的矩阵；
• 向量 ($x\in {\mathbb{R}}^n$) 是一个 ($n$)-维列向量；
• 结果 ($y\in {\mathbb{R}}^m$) 是一个 ($m$)-维列向量。

矩阵-向量乘法可以从“行”和“列”的两种视角来理解。接下来我们分别介绍这两种解释。

---

2. 从行的角度解释

矩阵-向量乘法可以视为“将向量 ($x$) 与矩阵的每一行进行内积计算”，具体来说：

矩阵 ($A$) 的第 ($i$) 行记为 ($b_i^T$)：
$$A=\left[\begin{array}{c}{b}_1^T\\ b_2^T\\ ⋮\\ b_m^T\end{array}\right],$$
其中每个 ($b_i^T\in {\mathbb{R}}^n$) 是 ($A$) 的一行（转置表示为行向量）。

对于 ($y=Ax$)，结果向量 ($y$) 的第 ($i$) 个元素 ($y_i$) 是矩阵第 ($i$) 行与向量 ($x$) 的内积：
$$y_i=b_i^{T}x,i=1,2,\dots ,m.$$

公式解读：

• ($b_i^{T}x$) 表示矩阵第 ($i$) 行与向量 ($x$) 的内积；
• 每一行的内积结果形成 ($y$) 中的一个元素。

例子：

假设：
$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right],x=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right].$$

计算 ($y=Ax$) 时，从行的视角来看：

1. 取第 1 行 ($b_1^T=[1,2,3]$)，计算内积 ($y_1=b_1^{T}x=1\cdot 1+2\cdot 2+3\cdot 3=14$)；
2. 取第 2 行 ($b_2^T=[4,5,6]$)，计算内积 ($y_2=b_2^{T}x=4\cdot 1+5\cdot 2+6\cdot 3=32$)；
3. 取第 3 行 ($b_3^T=[7,8,9]$)，计算内积 ($y_3=b_3^{T}x=7\cdot 1+8\cdot 2+9\cdot 3=50$)。

最终结果：
$$y=\left[\begin{array}{c}14\\ 32\\ 50\end{array}\right].$$

---

3. 从列的角度解释

矩阵-向量乘法也可以视为“将矩阵 ($A$) 的列按照向量 ($x$) 中的元素加权，并进行线性组合”。具体来说：

矩阵 ($A$) 的第 ($k$) 列记为 ($a_k$)：
$$A=[a_1,a_2,\dots ,a_n],$$
其中每个 ($a_k\in {\mathbb{R}}^m$) 是 ($A$) 的一列。

矩阵-向量乘法 ($y=Ax$) 可以写成：
$$y=x_1{a}_1+x_2{a}_2+\cdots +x_n{a}_n,$$
即，结果向量 ($y$) 是矩阵列向量的线性组合，组合系数由 ($x$) 的元素给出。

公式解读：

• ($x_k{a}_k$) 表示用 ($x$) 中的第 ($k$) 个元素 ($x_k$) 对矩阵的第 ($k$) 列进行加权；
• 把加权后的所有列向量相加，得到结果向量 ($y$)。

例子：

继续使用相同的矩阵和向量：
$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right],x=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right].$$

从列的视角来看：

1. ($A$) 的第 1 列是 ($a_1=[1,4,7{]}^T$)，加权系数是 ($x_1=1$)，所以贡献向量为 ($1\cdot a_1=[1,4,7{]}^T$)；
2. ($A$) 的第 2 列是 ($a_2=[2,5,8{]}^T$)，加权系数是 ($x_2=2$)，所以贡献向量为 ($2\cdot a_2=[4,10,16{]}^T$)；
3. ($A$) 的第 3 列是 ($a_3=[3,6,9{]}^T$)，加权系数是 ($x_3=3$)，所以贡献向量为 ($3\cdot a_3=[9,18,27{]}^T$)。

最终结果是所有列向量的线性组合：

$$y=1\cdot a_1+2\cdot a_2+3\cdot a_3=\left[\begin{array}{c}1+4+9\\ 4+10+18\\ 7+16+27\end{array}\right]=\left[\begin{array}{c}14\\ 32\\ 50\end{array}\right].$$

---

4. 行与列视角的联系与选择

1. 行视角：更适合理解矩阵-向量乘法的每个输出分量 ($y_i$) 是如何计算的，即通过行与向量的内积。
2. 列视角：更适合理解结果向量 ($y$) 是由矩阵列向量的线性组合得到的。

在实际应用中，可以根据问题背景选择合适的视角：

• 行视角通常用于计算或实现算法；
• 列视角常用于分析结果或解释几何意义。

---

5. 结论

矩阵-向量乘法是线性代数中极为重要的操作，而从行和列的两个视角理解，可以帮助我们更深刻地掌握其计算过程与实际意义。无论是从行的内积出发，还是从列的线性组合出发，这两种视角都揭示了矩阵操作在数学和应用中的多样性。

英文版

Matrix-Vector Multiplication: Row and Column Interpretations

Matrix-vector multiplication is a fundamental operation in linear algebra and is widely used in fields like machine learning, data science, and engineering. This article explains the row and column perspectives of matrix-vector multiplication in detail, with practical examples to help clarify the underlying mathematics.

---

1. What is Matrix-Vector Multiplication?

The product of a matrix (A) and a vector (x) is written as:
$$y=Ax$$
where:

• ($A\in {\mathbb{R}}^{m\times n}$) is an ($m\times n$) matrix;
• ($x\in {\mathbb{R}}^n$) is an ($n$)-dimensional column vector;
• ($y\in {\mathbb{R}}^m$) is the resulting ($m$)-dimensional column vector.

Matrix-vector multiplication can be understood from two perspectives:

1. The row view: Treat the result as the dot products of ($x$) with each row of ($A$).
2. The column view: Treat the result as a linear combination of the columns of ($A$).

---

2. Row Perspective

In the row perspective, matrix-vector multiplication involves taking the dot product of the vector ($x$) with each row of the matrix ($A$). Let ($b_i^T$) represent the ($i$)-th row of ($A$), so:
$$A=\left[\begin{array}{c}{b}_1^T\\ b_2^T\\ ⋮\\ b_m^T\end{array}\right],$$
where each ($b_i^T\in {\mathbb{R}}^n$) is a row vector.

The ($i$)-th entry of the result vector ($y$) is:
$$y_i=b_i^{T}x,i=1,2,\dots ,m.$$

This means:

• Each entry ($y_i$) is the dot product of ($x$) with the ($i$)-th row of ($A$).
• The result vector ($y$) consists of ($m$) such dot products, one for each row.

---

Example (Row Perspective)

Suppose:
$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right],x=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right].$$

To compute ($y=Ax$):

1. Take the first row ($b_1^T=[1,2,3]$), and compute the dot product with ($x$):
   $$y_1=1\cdot 1+2\cdot 2+3\cdot 3=14.$$
2. Take the second row ($b_2^T=[4,5,6]$), and compute the dot product:
   $$y_2=4\cdot 1+5\cdot 2+6\cdot 3=32.$$
3. Take the third row ($b_3^T=[7,8,9]$), and compute the dot product:
   $$y_3=7\cdot 1+8\cdot 2+9\cdot 3=50.$$

Thus:
$$y=\left[\begin{array}{c}14\\ 32\\ 50\end{array}\right].$$

---

3. Column Perspective

In the column perspective, matrix-vector multiplication can be interpreted as a linear combination of the columns of ($A$), with the elements of ($x$) serving as the coefficients of the combination. Let ($a_k$) represent the ($k$)-th column of ($A$), so:
$$A=[a_1,a_2,\dots ,a_n],$$
where each ($a_k\in {\mathbb{R}}^m$) is a column vector.

The matrix-vector product ($y=Ax$) can be written as:
$$y=x_1{a}_1+x_2{a}_2+\cdots +x_n{a}_n.$$

This means:

• ($x_k{a}_k$) scales the ($k$)-th column ($a_k$) of ($A$) by the ($k$)-th entry ($x_k$) of the vector ($x$).
• The result ($y$) is the sum of these scaled columns.

---

Example (Column Perspective)

Using the same matrix and vector:
$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right],x=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right].$$

From the column perspective:

1. The first column of ($A$) is ($a_1=[1,4,7{]}^T$), scaled by ($x_1=1$):
   $$1\cdot a_1=[1,4,7{]}^T.$$
2. The second column of ($A$) is ($a_2=[2,5,8{]}^T$), scaled by ($x_2=2$):
   $$2\cdot a_2=[4,10,16{]}^T.$$
3. The third column of ($A$) is ($a_3=[3,6,9{]}^T$), scaled by ($x_3=3$):
   $3\cdot a_3=[9,18,27{]}^T.$

Add the scaled columns:
$$y=1\cdot a_1+2\cdot a_2+3\cdot a_3=\left[\begin{array}{c}1+4+9\\ 4+10+18\\ 7+16+27\end{array}\right]=\left[\begin{array}{c}14\\ 32\\ 50\end{array}\right].$$

---

4. Connection Between the Two Perspectives

• Row Perspective: Computes the entries of the result vector ($y$) one at a time, using dot products between the rows of ($A$) and the vector ($x$). This perspective is often used in implementation and numerical computation.
• Column Perspective: Views the result vector ($y$) as a linear combination of the columns of ($A$), scaled by the entries of ($x$). This perspective is useful for understanding geometric interpretations and applications like data transformations.

The two perspectives are mathematically equivalent and simply offer different ways to interpret the same operation.

---

5. Practical Applications

1. Row Perspective in Machine Learning:

   • Useful when processing datasets where rows represent individual samples and columns represent features.
   • Example: In a neural network, ($A$) can represent weights, and ($x$) the input features. The output ($y$) represents weighted sums for each neuron.

2. Column Perspective in Data Transformation:

   • Common in computer graphics and signal processing, where each column represents a basis vector, and the result is a transformation of ($x$) into a new coordinate system.
   • Example: Principal Component Analysis (PCA) involves projecting data onto principal components (columns).

---

6. Conclusion

Matrix-vector multiplication is a versatile operation that can be understood from two complementary perspectives:

• The row perspective, which emphasizes the dot product computation for each entry of the result vector.
• The column perspective, which highlights the linear combination of matrix columns.

By understanding both views, you can better analyze and apply this operation in various fields like machine learning, data analysis, and linear systems.

后记

2024年12月20日13点01分于上海，在GPT4o的辅助下完成。