机器学习 -- 矩阵和向量

场景

在之前的knn算法和余弦算法等算法中，都有很重要的概念，叫做矩阵和向量。这个是机器学习中很重要的概念。今天来深入学习一些矩阵和向量的一些知识。

向量(Vector)

向量是一个有序的数字列表，可以在几何中表示为从原点出发的箭头。在机器学习中，向量通常用于表示数据点或特征。一个向量可以是列向量或行向量，区别在于其排列方式：

列向量：一个 n 行 1 列的矩阵，表示为竖直排列的数字列表。
行向量：一个 1 行 n 列的矩阵，表示为水平排列的数字列表。
向量可以用来表示一个数据点的多个特征，其中每个数字代表一个特征。

向量在机器学习和数据科学中的应用非常广泛，它们可以用来表示数据点的特征、进行数据分析、以及在各种算法中实现数学计算。向量之间的计算可以揭示数据的结构、相似性、差异性等重要信息。

假设我们有两个向量 A 和 B，其中：

import numpy as np
# 定义两个向量
A = np.array([4, 5, 3])
B = np.array([5, 3, 2])

向量加减：用于合并或比较数据点的特征，例如，在图像处理中，可能需要调整像素值（向量表示）的亮度（通过加减标量）。

点乘：用于计算两个向量的相似度，例如在推荐系统中，比较用户或商品特征的相似性；在文本处理中，通过计算词向量的点积来衡量单词或文档之间的相似性。

向量乘以标量：用于调整数据的规模，例如在数据标准化过程中。

案例：我们可以通过计算这两个向量的点积来估计它们的相似度。

import numpy as np# 定义两个向量
A = np.array([4, 5, 3])
B = np.array([5, 3, 2])# 计算点积
dot_product = np.dot(A, B)# 打印结果
print(f"点积为: {dot_product}")

这个点积结果给出了两个用户评分向量在数值上的相似度。点积越大，表示两个向量越“相似”。这个概念可以用于推荐系统中，来推荐用户可能喜欢的电影或商品。让我们运行这段代码，看看具体的计算结果。运行上述代码得到的点积为 41。这表明用户 1 和用户 2 的评分向量之间有一定程度的相似性。在实际应用中，这种计算可以帮助我们在推荐系统中评估用户之间或者用户与商品之间的相似度，从而提供更个性化的推荐。

矩阵(Matrix)

矩阵是一个由数字组成的矩形阵列，排列成行和列。在机器学习和统计中，矩阵用于存储和操作数据集，其中每一行通常代表一个数据点，每一列代表一个特征。
例如，如果我们有一个数据集，其中包含有关人们年龄、身高和体重的信息，则可以使用一个矩阵来表示这个数据集，其中每一行代表一个人，每一列代表一种信息（年龄、身高、体重）。
矩阵提供了一种方便的方式来同时处理多个数据点和特征，使得可以高效地进行计算和分析，比如矩阵乘法可以用于实现多个数据点的线性变换或者应用机器学习模型。

向量是一个单列（列向量）或单行（行向量）的矩阵。
矩阵是由行和列组成的二维数组，可以包含多个向量。例如，一个矩阵的每一列可以是一个独立的向量。

矩阵的基本运算

矩阵的基本运算包括加法、减法、乘法（包括矩阵乘以标量、矩阵乘以矩阵）和除法（通常以矩阵求逆的形式出现，而不是直接的除法操作）。
加法和减法：矩阵的加减运算是元素对元素的，要求两个矩阵的维度完全相同。就是简单的加减。
乘法：
矩阵乘以标量：每个元素乘以这个标量。就是每个元素乘以这个值后的矩阵。
矩阵乘以矩阵：第一个矩阵的行与第二个矩阵的列对应元素相乘后相加。

矩阵和向量的乘法

矩阵和向量的乘法是线性代数中的一个重要操作，可以视为矩阵乘以矩阵的特例，其中一个矩阵是列向量或行向量。这种乘法用于多种计算和算法中，包括：
1.变换：用矩阵乘以向量来变换该向量（例如，旋转、缩放、平移等）。
2.线性方程组：解线性方程组可以通过矩阵和向量的乘法来表示。
3.数据处理：在机器学习中，数据通常以矩阵形式出现，模型参数也可以用矩阵表示，因此矩阵和向量的乘法是算法实现的基础。

这种类型的运算在很多领域都非常有用，特别是在机器学习和计算机图形学中。例如，在机器学习中，矩阵-向量乘法可以用来计算线性模型的预测值；在计算机图形学中，它可以用来对图形进行变换（如旋转、缩放和平移）。这种运算的效率和灵活性使得矩阵和向量成为数据表示和处理的强大工具。