1.19 排序革命：argsort的十大高阶用法
目录
1.19.1 多列排序的稳定实现方案
在处理多列数据时，使用 NumPy 的 argsort 进行排序是一个非常高效的方法。本节将详细介绍如何使用 lexsort 进行多列排序，并测试其稳定性。
1.19.1.1 多键排序的lexsort使用详解
lexsort 是 NumPy 提供的一个函数，用于按多个键进行排序。lexsort 的排序顺序是从后向前，即最右边的键是主要排序键，最左边的键是次要排序键。
import numpy as np# 创建多列数据
data = np.array([[3, 7, 1],[1, 3, 2],[2, 5, 0],[1, 2, 3],[3, 1, 2]
])# 使用 lexsort 进行排序
sorted_indices = np.lexsort((data[:, 2], data[:, 1], data[:, 0])) # 按第0列、第1列、第2列排序
sorted_data = data[sorted_indices] # 按索引排序数据# 打印排序结果
print("原始数据: ")
print(data)
print("排序后的数据: ")
print(sorted_data)
1.19.1.2 排序稳定性测试方案
排序算法的稳定性是指在排序过程中，相等的元素的相对位置不会发生变化。NumPy 的 argsort 和 lexsort 都是稳定的排序算法。本节将通过一个测试方案来验证这一点。
import numpy as np# 创建一个包含重复元素的数组
data = np.array([3, 1, 2, 1, 2, 3])# 使用 argsort 进行排序
sorted_indices = np.argsort(data, kind='stable') # 指定稳定排序算法
sorted_data = data[sorted_indices]# 打印排序结果
print("原始数据: ", data)
print("排序后的数据: ", sorted_data)
print("排序索引: ", sorted_indices)# 创建多列数据
multi_data = np.array([[3, 7, 1],[1, 3, 2],[2, 5, 0],[1, 2, 3],[3, 1, 2]
])# 使用 lexsort 进行排序
sorted_indices_lex = np.lexsort((multi_data[:, 2], multi_data[:, 1], multi_data[:, 0]))
sorted_multi_data = multi_data[sorted_indices_lex]# 打印排序结果
print("原始多列数据: ")
print(multi_data)
print("排序后的多列数据: ")
print(sorted_multi_data)
print("排序索引: ", sorted_indices_lex)
1.19.2 按自定义规则排序的秘籍
在某些场景下，我们可能需要根据自定义规则对数据进行排序。本节将介绍如何实现中文拼音排序和自定义排序函数。
1.19.2.1 中文拼音排序自定义函数
中文排序通常需要根据拼音序进行。我们可以使用 pypinyin 库来实现这一点。
import numpy as np
from pypinyin import pinyin, lazy_pinyin, Style# 创建一个包含中文字符串的数组
data = np.array(['张三', '李四', '王五', '赵六', '钱七'])# 定义拼音排序函数
def sort_by_pinyin(arr):"""根据拼音排序中文字符串:param arr: 输入的中文字符串数组:return: 排序后的数组"""# 将中文字符串转换为拼音pinyin_list = [lazy_pinyin(name) for name in arr]# 按拼音排序sorted_indices = np.argsort(pinyin_list, kind='stable') # 指定稳定排序算法sorted_data = arr[sorted_indices]return sorted_data# 进行拼音排序
sorted_data = sort_by_pinyin(data)# 打印排序结果
print("原始数据: ", data)
print("拼音排序后的数据: ", sorted_data)
1.19.2.2 图解自定义排序函数
graph TBA[自定义排序函数]A --> B1[定义排序规则]A --> B2[转换排序键]A --> B3[使用 argsort 排序]B1 --> C1[例如：拼音排序]B2 --> C2[将中文名转换为拼音]B3 --> C3[按拼音排序索引]
1.19.3 分块排序外存算法实现
处理大规模数据时，内存限制往往是瓶颈。分块排序是一种有效的外存排序算法，本节将介绍如何在 10GB 数据上实现分块排序。
1.19.3.1 10GB数据的外部排序实现
import numpy as np
import os# 定义分块大小
chunk_size = 1000000# 生成 10GB 的数据
data = np.random.rand(100000000) # 1亿条数据
data.tofile('data.npy') # 保存为二进制文件# 分块读取并排序
def external_sort(file_path, chunk_size, output_file):"""外存排序:param file_path: 输入文件路径:param chunk_size: 分块大小:param output_file: 输出文件路径"""# 读取文件大小file_size = os.path.getsize(file_path)data_type_size = data.dtype.itemsizetotal_elements = file_size // data_type_size# 创建临时文件列表temp_files = []# 分块读取并排序for i in range(0, total_elements, chunk_size):chunk = np.fromfile(file_path, dtype=np.float64, count=chunk_size, offset=i * data_type_size)sorted_chunk = np.sort(chunk, kind='stable') # 指定稳定排序算法temp_file = f'temp_{i // chunk_size}.npy'np.save(temp_file, sorted_chunk)temp_files.append(temp_file)# 合并排序后的分块with open(output_file, 'wb') as f_out:merge_sorted(temp_files, chunk_size, f_out)# 合并排序后的分块
def merge_sorted(temp_files, chunk_size, output_file):"""合并排序后的分块:param temp_files: 临时文件列表:param chunk_size: 分块大小:param output_file: 输出文件对象"""# 打开所有临时文件files = [np.load(temp_file) for temp_file in temp_files]# 初始化索引和分块读取indices = [0] * len(files)chunks = [file[:chunk_size] for file in files]while True:# 找到当前最小值的索引min_index = Nonemin_value = float('inf')for i, chunk in enumerate(chunks):if len(chunk) > 0 and chunk[0] < min_value:min_value = chunk[0]min_index = iif min_index is None:break# 将最小值写入输出文件output_file.write(chunks[min_index][0].tobytes())# 更新分块读取索引indices[min_index] += 1chunks[min_index] = files[min_index][indices[min_index]:indices[min_index] + chunk_size]# 关闭所有临时文件for file in files:file.close()# 删除临时文件for temp_file in temp_files:os.remove(temp_file)# 进行外部排序
external_sort('data.npy', chunk_size, 'sorted_data.npy')
1.19.3.3 外存排序流程图
1.19.4 推荐系统Top-K检索优化
在推荐系统中，Top-K 检索是一个常见的需求。本节将介绍如何使用 NumPy 的 argsort 进行向量相似度排序，并优化 Top-K 检索的性能。
1.19.4.1 推荐系统的向量相似度排序
推荐系统中的向量相似度排序通常涉及大量的向量计算。我们可以使用 NumPy 的 argsort 来高效地实现这一点。
import numpy as np# 生成用户和物品的向量
user_vectors = np.random.rand(1000000, 10) # 100万用户，每个用户10维向量
item_vectors = np.random.rand(1000, 10) # 1000个物品，每个物品10维向量# 计算相似度
def compute_similarity(user_vectors, item_vectors):"""计算用户向量和物品向量的相似度:param user_vectors: 用户向量:param item_vectors: 物品向量:return: 相似度矩阵"""user_vectors = user_vectors / np.linalg.norm(user_vectors, axis=1, keepdims=True) # 归一化用户向量item_vectors = item_vectors / np.linalg.norm(item_vectors, axis=1, keepdims=True) # 归一化物品向量similarity_matrix = np.dot(user_vectors, item_vectors.T) # 计算相似度矩阵return similarity_matrix# 获取 Top-K 推荐
def get_top_k_recommendations(similarity_matrix, k):"""获取每个用户的 Top-K 推荐物品:param similarity_matrix: 相似度矩阵:param k: 推荐数量:return: Top-K 推荐索引矩阵"""# 获取每个用户的 Top-K 推荐物品索引top_k_indices = np.argsort(-similarity_matrix, axis=1)[:, :k] # 按相似度降序排序并取前k个return top_k_indices# 计算相似度并获取 Top-K 推荐
similarity_matrix = compute_similarity(user_vectors, item_vectors)
top_k_indices = get_top_k_recommendations(similarity_matrix, k=10)# 打印前10个用户的 Top-K 推荐物品索引
print("前10个用户的 Top-K 推荐物品索引: ")
print(top_k_indices[:10])
1.19.4.2 图解相似度排序
稳定性验证矩阵
| 算法 | 稳定 | 时间复杂度 | 适用场景 |
|---|---|---|---|
| mergesort | 是 | O(n log n) | 需要稳定排序 |
| quicksort | 否 | O(n log n) | 通用场景 |
| heapsort | 否 | O(n log n) | 内存受限 |
总结
通过本篇文章的详细讲解和示例，我们对 NumPy 中的 argsort 函数有了更深入的理解。主要内容包括：
- 多列排序的稳定实现方案：介绍了
lexsort的使用方法，并测试了其稳定性。 - 按自定义规则排序的秘籍：展示了如何实现中文拼音排序，并提供了一个图解自定义排序函数的流程图。
- 分块排序外存算法实现：通过一个 10GB 数据的外部排序实现示例，展示了如何处理大规模数据。
- 推荐系统Top-K检索优化：介绍了推荐系统中的向量相似度排序，并通过示例展示了如何高效地进行 Top-K 检索。
希望这些内容对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言。我们下一篇文章再见！
参考资料
| 资料名称 | 链接 |
|---|---|
| NumPy 官方文档 | https://numpy.org/doc/stable/ |
| lexsort 详解 | https://numpy.org/doc/stable/reference/generated/numpy.lexsort.html |
| 排序稳定性测试 | https://numpy.org/doc/stable/user/basics.sort.html |
| pypinyin 库 | https://pypi.org/project/pypinyin/ |
| 外存排序算法 | https://en.wikipedia.org/wiki/External_sorting |
| 推荐系统Top-K检索 | https://towardsdatascience.com/fast-topk-search-with-numpy-384c33e04ddc |
| 大规模数据处理 | https://www.jianshu.com/p/1c8b4d7b0e1a |
| 向量相似度计算 | https://towardsdatascience.com/understanding-feature-vector-similarity-and-its-applications-9d505b3f08cd |
| 外存排序实现 | https://www.cnblogs.com/onepixel/articles/7674659.html |
| 推荐系统优化 | https://developers.google.com/machine-learning/recommendation/similar/algorithm |
| 分块排序优化 | https://www.dataknowledge.cn/dhj/guanchan/1811759736723408-N.html |
| 多列排序应用 | https://www.geeksforgeeks.org/numpy-lexsort-in-python/ |
| 外部排序算法 | https://www.oreilly.com/library/view/algorithms-in-a/9780596576469/ch06s06.html |
| 推荐系统实战 | https://www.kdnuggets.com/2018/11/building-recommendation-system-python.html |
这篇文章包含了详细的原理介绍、代码示例、源码注释以及案例等。希望这对您有帮助。如果有任何问题请随私信或评论告诉我。
