散列冲突与作为特征值的散列

缘起

写这篇文章，源于这么一个问题：假设目前有一千万个URL访问记录，请统计最热门的10个查询串。(见此文)。见到这个问题的第一想法使用hash解决，没考虑hash冲突解决的问题(其实就没想比较URL，不比较URL无法判断冲突与否)。后来意识到hash解法在内存受限情况下存在致命缺陷，才有写这个blog的想法。

散列/散列函数

Hash，一般翻译做“散列”，也音译为哈希，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法(散列函数)，变换成固定(或不定)长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。散列函数（或散列算法，Hash Function）是一种从任何一种数据中创建小的数字“指纹”的方法。该函数将数据打乱混合，重新创建一个叫做散列值的指纹。

作为特征值的散列

散列函数是一种从任何一种数据中创建小的数字“指纹”的方法。密码学上的 Hash 又被称为"消息摘要(message digest)"。简言之，“指纹”、“信息摘要”本质就是数据的特征值，即散列函数可用于提取数据的特征值。在模式识别中，由于处理原始数据比较困难，经常通过提取数据的多维特征值来简化数据处理。

最佳的特征值是能完全表征数据的特征值，实际当中很难找到，不管是一维还是多维的特征值。完美散列就是希望能够找到能唯一表征原始数据的散列函数。

散列函数有一个基本特性：输出不同，原始数据必然不同；输出相同，原始数据可能不同。将无限定义域映射成有限值域必然存在冲突。加密散列函数是很不错的散列函数，其输出是一个很大的整数，值域很大，故冲突较少。

因为散列值无法唯一表征原始数据，故冲突判断只能通过比较原始数据方能得知。作为特征值的哈希值非常适合用于判断原始数据是否不同，比如文件、图片等。

MPQ散列函数

MPQ使用文件名哈希表来跟踪内部的所有文件。算法使用了3种不同的哈希：一个用于哈希表的下标，两个用于验证。这两个验证哈希替代了实际文件名。其本质就是使用3个哈希值来表征文件，当然，mpq无法解决散列冲突问题：即相同的3个哈希值对应两个不用的文件。

容忍冲突的散列(什么场合冲突可容忍？)

原始问题：假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。），请你统计最热门的10个查询串，要求使用的内存不能超过1G。

问题1：将记录规模扩大1000倍，即几十亿的记录，内存几十G。

问题2：将记录规模扩大1000倍，即几十亿的记录，内存几G。即在内存受限的情况下，如何处理数据。(内存读写比硬盘快100倍以上，随机读写估计在1w倍以上，直接以磁盘空间代替内存空间的做法就不用提了)

对于问题1，想过一个算法：元数据存于内存+URL存磁盘。元数据：URL哈希值、访问计数，文件偏移量；所有的URL均存在磁盘中。这个算法有个前提：忽略冲突，将URL哈希值作为URL的唯一表征。元数据量不大((8+8+8)*1G=24G)可全部在内存中存放，处理很快；比较URL哈希值远比直接比较URL快；URL采用追加方式写入磁盘，效率也不是问题。但是忽略冲突却是一个致命的缺陷。