【NLP基础知识】有哪些相似度计算方式（持续更新）

相异性/相似性的计算-zine

相似度计算方式

1. Euclidean Distance (L2)

用途：主要用于计算机视觉领域。

解释：计算两个点之间的直线距离。假设有两个向量 $\mathbf{a} = [a_1, a_2, ..., a_n]$ 和 $\mathbf{b} = [b_1, b_2, ..., b_n]$ ，它们之间的欧几里得距离计算如下：
$\text{L2}(\mathbf{a}, \mathbf{b}) = \sqrt{\sum_{i=1}^{n} (a_i - b_i)^2}$

举例：

向量 $\mathbf{a} = [1, 2, 3]$ 和 $\mathbf{b} = [4, 5, 6]$
欧几里得距离

$\text{L2}(\mathbf{a}, \mathbf{b}) = \sqrt{(1-4)^2 + (2-5)^2 + (3-6)^2} = \sqrt{27} \approx 5.20$

2. Inner Product (IP)

用途：主要用于自然语言处理领域。

解释：计算两个向量的点积。假设有两个向量 $\mathbf{a} = [a_1, a_2, ..., a_n]$ 和 $\mathbf{b} = [b_1, b_2, ..., b_n]$ ，它们之间的内积计算如下：
$\text{IP}(\mathbf{a}, \mathbf{b}) = \sum_{i=1}^{n} a_i b_i$

举例：

向量 $\mathbf{a} = [1, 2, 3]$ 和 $\mathbf{b} = [4, 5, 6]$
点积

$\text{IP}(\mathbf{a}, \mathbf{b}) = 1 \cdot 4 + 2 \cdot 5 + 3 \cdot 6 = 32$

3. Hamming Distance

汉明距离： 两个相同长度字符串进行异或运算，结果为1的个数就是汉明距离

用途：主要用于自然语言处理领域中的二进制嵌入。

解释：计算两个相同长度的二进制字符串之间不同位置的个数。假设有两个二进制向量 $\mathbf{a} = [a_1, a_2, ..., a_n]$ 和 $\mathbf{b} = [b_1, b_2, ..., b_n]$ ，汉明距离计算如下：
$\text{Hamming}(\mathbf{a}, \mathbf{b}) = \sum_{i=1}^{n} \mathbf{1}(a_i \neq b_i)$

举例：

向量 $\mathbf{a} = [0, 1, 1, 0]$ 和 $\mathbf{b} = [1, 1, 0, 0]$
汉明距离

$\text{Hamming}(\mathbf{a}, \mathbf{b}) = 2$

4. Jaccard Index

jaccard相似性 = 集合交集/集合并集
jaccard距离 = 1-jaccard相似性

用途：主要用于分子相似度搜索。

解释：计算两个集合的交集大小与并集大小的比值。假设有两个集合 $A$ 和 $B$ ，它们的Jaccard指数计算如下：
$\text{Jaccard}(A, B) = \frac{|A \cap B|}{|A \cup B|}$

举例：

集合 $A = \{1, 2, 3\}$ 和集合 $B = \{2, 3, 4\}$
Jaccard指数

$\text{Jaccard}(A, B) = \frac{2}{4} = 0.5$

5. Tanimoto Coefficient

用途：主要用于分子相似度搜索。

解释：类似于Jaccard指数，但通常用于浮点数或连续值的集合。假设有两个向量 $\mathbf{a}$ 和 $\mathbf{b}$ ，Tanimoto系数计算如下：
$\text{Tanimoto}(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a} \cdot \mathbf{b}}{|\mathbf{a}|^2 + |\mathbf{b}|^2 - \mathbf{a} \cdot \mathbf{b}}$

举例：

向量 $\mathbf{a} = [1, 1, 0]$ 和 $\mathbf{b} = [0, 1, 1]$
Tanimoto系数

$\text{Tanimoto}(\mathbf{a}, \mathbf{b}) = \frac{1}{3} \approx 0.33$

6. Superstructure and Substructure

用途：主要用于搜索分子的超结构和子结构相似性。

解释：这些指标用于化学信息学，计算一个分子是否是另一个分子的超结构或子结构。具体算法因实现而异，通常涉及子图匹配技术。

举例：

分子 $A$ 有结构 $\text{C}_6\text{H}_6$ （苯环），分子 $B$ 有结构 $\text{C}_6\text{H}_5\text{OH}$ （苯酚）。
分子 $A$ 是分子 $B$ 的子结构，因为苯环是苯酚的一个部分。
分子 $B$ 是分子 $A$ 的超结构，因为苯酚包含了苯环并增加了一个羟基（OH）。

7. Cosine Similarity

用途：主要用于自然语言处理和信息检索。

解释：计算两个向量之间的余弦角度的相似度。假设有两个向量 $\mathbf{a}$ 和 $\mathbf{b}$ ，余弦相似度计算如下：
$\text{Cosine}(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a} \cdot \mathbf{b}}{||\mathbf{a}|| \cdot ||\mathbf{b}||}$

余弦相似性
$cos\theta =\frac{a\cdot b}{||a|| ||b||} = \frac {\sum_{i=1}^n{a_i} {b_i}} {\sqrt{\sum_{i=1}^n a_i^2} \sqrt{\sum_{i=1}^n b_i^2}}$

举例：

向量 $\mathbf{a} = [1, 2, 3]$ 和 $\mathbf{b} = [4, 5, 6]$
余弦相似度

$\text{Cosine}(\mathbf{a}, \mathbf{b}) \approx 0.97$

8. Manhattan Distance (L1)

曼哈顿距离： 又叫街区距离，类似汉明距离，区别是曼哈顿距离计算两个字符串的每个位置上对应字符之间的差值，而不是计算不陪配字符的数量。

用途：广泛用于各种数据分析和机器学习任务。

解释：计算两个点在所有坐标轴上的绝对差值之和。假设有两个向量 $\mathbf{a} = [a_1, a_2, ..., a_n]$ 和 $\mathbf{b} = [b_1, b_2, ..., b_n]$ ，曼哈顿距离计算如下：
$\text{L1}(\mathbf{a}, \mathbf{b}) = \sum_{i=1}^{n} |a_i - b_i|$

举例：

向量 $\mathbf{a} = [1, 2, 3]$ 和 $\mathbf{b} = [4, 5, 6]$
曼哈顿距离

$\text{L1}(\mathbf{a}, \mathbf{b}) = 9$

9. Pearson Correlation Coefficient

用途：用于统计分析和机器学习中的相关性测量。

解释：衡量两个变量之间的线性相关性，取值范围为-1到1。假设有两个向量 $\mathbf{a}$ 和 $\mathbf{b}$ ，皮尔逊相关系数计算如下：
$\text{Pearson}(\mathbf{a}, \mathbf{b}) = \frac{\sum_{i=1}^{n} (a_i - \bar{a})(b_i - \bar{b})}{\sqrt{\sum_{i=1}^{n} (a_i - \bar{a})^2} \sqrt{\sum_{i=1}^{n} (b_i - \bar{b})^2}}$
其中 $\bar{a}$ 和 $\bar{b}$ 分别是 $\mathbf{a}$ 和 $\mathbf{b}$ 的均值。

补充公式：

$pearson_r =\frac{cov(x,y)}{\sigma{(x)}\sigma{(y)}} =\frac {\sum_{i=1}^n(x-\bar{x})(y-\bar{y})} {\sqrt{\sum_{i=1}^n (x-\bar{x})^2} \sqrt{\sum_{i=1}^n (y-\bar{y})^2}}$

举例：

向量 $\mathbf{a} = [1, 2, 3]$ 和 $\mathbf{b} = [4, 5, 6]$
均值 $\bar{a} = 2$ ，均值 $\bar{b} = 5$
皮尔逊相关系数

$\text{Pearson}(\mathbf{a}, \mathbf{b}) = 1$

10.Spearman’s Rank Correlation

用途：用于统计分析中的秩相关性测量。

解释：衡量两个变量的秩相关性，适用于非线性相关的情况。假设有两个向量 $\mathbf{a}$ 和 $\mathbf{b}$ ，计算如下：
$\text{Spearman}(\mathbf{a}, \mathbf{b}) = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)}$
其中 $d_i$ 是每对数据的秩差， $n$ 是数据对的数量。