海量数据处理方法的分析

本文可以认为是http://blog.csdn.net/v_JULY_v/article/details/6279498的读后感，我是按照我理解的语言重新表述了一下而已。

海量数据处理的常用方法包括一下几种：

1.分而治之/hash映射 + hash统计 + 堆/快速/归并排序；
2.双层桶划分
3.Bloom filter/Bitmap；
4.Trie树/数据库/倒排索引；
5.外排序；
6.分布式处理之Hadoop/Mapreduce。

 

1. 分而治之/hash映射 + hash统计 + 堆/快速/归并排序；
分治是算法的核心思想，不过需要证明分治是适用的才行。 如何分呢，就是用Hash函数来做，用hash函数把大数据集分成几个小数据集，然后对小数据集进行统计，将多个子数据集的统计结果进行归并排序。例如：

海量日志数据，提取出某日访问百度次数最多的那个IP

可以IP地址按照IP%100，将IP地址分为100个子集，对各个子集分别统计频度，然后取出各个子集出现最多的IP，进而得到整体出现最多的IP

 

假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门），请你统计最热门的10个查询串，要求使用的内存不能超过1G。

这个也可以使用Trie树,

有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。

 

海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10。

 

有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。

 

给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？

 

 

2.双层桶划分
适用范围：第k大，中位数，不重复或重复的数字

2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。

有点像鸽巢原理，整数个数为2^32,也就是，我们可以将这2^32个数，划分为2^8个区域(比如用单个文件代表一个区域)，然后将数据分离到不同的区域，然后不同的区域在利用bitmap就可以直接解决了。也就是说只要有足够的磁盘空间，就可以很方便的解决。

 

5亿个int找它们的中位数。

这个例子比上面那个更明显。首先我们将int划分为2^16个区域，然后读取数据统计落到各个区域里的数的个数，之后我们根据统计结果就可以判断中位数落到那个区域，同时知道这个区域中的第几大数刚好是中位数。然后第二次扫描我们只统计落在这个区域中的那些数就可以了。

 

实际上，如果不是int是int64，我们可以经过3次这样的划分即可降低到可以接受的程度。即可以先将int64分成2^24个区域，然后确定区域的第几大数，在将该区域分成2^20个子区域，然后确定是子区域的第几大数，然后子区域里的数的个数只有2^20，就可以直接利用direct addr table进行统计了。

3.Bloom filter/Bitmap

适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集

给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？

 

已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。

 

8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。
2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。

　　将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一次，2表示出现2次及以上。或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个2bit-map。

4.Trie树/数据库/倒排索引

适用范围：数据量大，重复多，但是数据种类小可以放入内存

Trie树主要用来实现词频统计

5.外排序

6.分布式处理之Hadoop/Mapreduce

 

http://blog.csdn.net/v_july_v/article/details/7382693