背景
Cosine 我在LLM与RAG系列课程已经讲了很多次了,这里不在熬述,它在LLM分析中,尤其是在语义相似度的计算中至关重要,在dot attention机制中,也会看到他的身影。这里讲的是纯数学上的运算与python是如何运用相关库进行并行计算的原理及实践。完全掌握了他,在看vector db 里面的语义相似度,你可能会豁然开朗。实现总是如此的优雅。
Cosine的定义,两个向量(A, B), 他们的余弦相似度为:
Cosine(A,B) = (A * B) / (len(A) * len (B))
其实就是距离在M维坐标系的分别投影,前面也说了很多次了,不明白可以参看LLM与RAG系列课程。下面举个例子,很简单的初中数学,两个二维向量A,B,如果他们维度所包含的分量都相等,那么Cosine = 1, 很好理解:A(x, y), B(x, y)
A * B = (x, y) * (x, y)= x^2 + y^2
len(A) = sqrt(x^2 + y^2)
len(B) = sqrt(x^2 + y^2)
最后答案就是 Cosine(A, B) = 1
如果是N维向量,很显然,相同。
Cosine(A,B) = (A * B) / (len(A) * len (B))
问题来了,我如果给你很多个A,很多个B,要你求所有A,B之间的 Cosine,要怎么处理?最笨的办法就是写个 def cosine(A,B) return (A * B) / (len(A) * len (B)), 然后写一个二层for循环,case by case,这样的代码交给CPU 做AI,肯定是不合适的。怎么优化呢?那就是线性代数的魅力来了,Matrix 运算。我们看看怎么做。
向量内积
向量内积,不要总想着二,三维,那是初中,高中的东西。在LLM的世界,高维向量普遍存在,在Choma vector db 提供的基础 embedding中,嵌入向量为 384 维度。那还算比较小的。大一点的上千维度都很正常。向量的内积,很简单,就是M维向量的M维度分别相乘后相加,放到Matrix 的指定位置就对了,python 实现更简单,就是 A dot B, 一个 dot 解决了(M , N)与 (N , J)维度的matrix 乘法。有点线性代数功底的都知道:(M , N)* (N , J) = (M, J)。 可是问题来了,在LLM的世界中,因为嵌入向量都是 M维,表达方式都是 (M , N), (J, N) 这种是没办法做 向量内积的,怎么办?很简单,转置一下,(M , N)* (J, N)T = (M, J)。 以前总觉得现线性代数没啥用,现在看到了它的魅力,你要用它的时,如果你概念基础扎实,马上就上手了。讲到了这里,看下 python 的例子:
arr1 = np.array([[1, 2, 3], [2, 3, 5], [1, 4, 3]]) arr2 = np.array([[4, 5, 6], [1, 2, 3]]) print(np.dot(X, Y.T))
非常简洁的代码,看下输出:
nice。不要小看他,它相当于是将将arr1的三个二维向量与arr2的两个二维向量在 O(0)同时完成了计算结果。而且 python 的 numpy 底层是经过 compiler 优化的,性能还是非常出色。
向量外积
是一个线性代数中的概念,指的是两个向量的张量积(tensor product),其结果是一个矩阵。
具体来说,假设 X_norm
是一个形状为 (m,)
的一维数组(向量),而 Y_norm
是一个形状为 (n,)
的一维数组(向量)。那么,np.outer(X_norm, Y_norm)
将返回一个形状为 (m, n)
的二维数组(矩阵),其中第 i
行第 j
列的元素是 X_norm[i]
和 Y_norm[j]
的乘积。
用数学符号表示,如果 X_norm = [x_1, x_2, ..., x_m]
和 Y_norm = [y_1, y_2, ..., y_n]
,那么(X_norm, Y_norm)的外积
将产生一个矩阵,其元素为:
python 代码实现:
import numpy as np X_norm = np.array([1, 2]) Y_norm = np.array([3, 4, 5]) result = np.outer(X_norm, Y_norm) print(result)
向量的长度
就是 2-范数或称为欧几里得范数,各维度平方相加开根号。
就是上面说的 len
p.linalg.norm
是 NumPy 中的一个函数,用于计算向量或矩阵的范数。具体来说,np.linalg.norm(X, axis=1)
是在 NumPy 数组 X
上沿着指定的轴(在这里是 axis=1
)计算向量的 2-范数(或称为欧几里得范数)。
假设 X
是一个形状为 (m, n)
的二维数组(或矩阵),其中 m
是行数,n
是列数。那么 np.linalg.norm(X, axis=1)
会返回一个长度为 m
的一维数组,其中每个元素是 X
中对应行的 2-范数。
还是上面那个例子,看下代码与运行结果:
arr1 = np.array([[1, 2, 3], [2, 3, 5], [1, 4, 3]]) arr2 = np.array([[4, 5, 6], [1, 2, 3]])X_norm = np.linalg.norm(arr1, axis=1) Y_norm = np.linalg.norm(arr2, axis=1)
发现维度没变,还是之前的,shape 都相同。只是做了平方求和开根号的处理。
LLM中的应用
到了这里,我们发现,如果我们使用:
X = np.array([[1, 2, 3], [2, 3, 5], [1, 4, 3]]) Y = np.array([[4, 5, 6], [1, 2, 3]]) similarity = np.dot(X, Y.T) / np.outer(X_norm, Y_norm)
他就是关于X的每个二维的分量与Y的每个二维分量之间的 Cosine。因为它同时完成了对应每个位置的 (A * B) / (len(A) * len (B))
我们看看结果:
数学含义也很明确,比如在 X的 [1,2,3] 对 Y的 [1,2,3]时, Cosine = 1,非常完美的三行代码。不要看不起它,他在vector db 中起着举足轻重的作用。今天介绍到这里,如果你对LLM感兴趣,可以读下我的其他专栏,同步更新中。