为什么评价算法性能是根据时间和空间复杂度，而不是别的参数？是因为计算机结构是冯诺依曼体系，除了输入输出设备和控制器，就剩下运算器和存储器了

问题引入

搜索引擎的热门搜索排行榜功能是如何实现的？搜索引擎每天会接收大量的用户搜索请求，把这些用户输入的搜索关键词记录下来，然后再离线地统计分析，得到最热门的 Top 10 搜索关键词。假设现在我们有一个包含 10 亿个搜索关键词的日志文件，如何能快速获取到热门榜 Top 10 的搜索关键词呢？

堆这种数据结构几个非常重要的应用：优先级队列、求 Top K 和求中位数。

堆的应用一：优先级队列

堆

优先级队列

堆的核心功能就是取出堆顶数据！（大顶堆--最大值；小顶堆--最小值）。使用方法：

1.插入数据，与堆顶比较决定插入与否（比如小顶堆堆顶拿到最小值，若新插入数据比它大，就删掉堆顶最小值，插入新数据，从而堆中保留了TopK）；

2.取数据，取最大值/最小值(如优先队列的优先级数值就是大顶堆堆顶即最大值，入队后自下而上堆化得到最新的堆顶，出队时直接出堆顶即可。）

1、优先级队列中，数据的出队顺序不是先进先出，而是按照优先级来，优先级最高的，最先出队

2、用堆来实现是最直接、最高效的

3、往优先级队列中插入一个元素，就相当于往堆中插入一个元素；从优先级队列中取出优先级最高的元素，就相当于取出堆顶元素。

合并有序小文件

假设我们有 100 个小文件，每个文件的大小是 100MB，每个文件中存储的都是有序的字符串。我们希望将这些 100 个小文件合并成一个有序的大文件。这里就会用到优先级队列。

方案一

1、使用一个数组，从这100个文件中各自取出第一个字符串放入数组比较大小，然后将最小的放入合并后的文件中，并从数组中删除。

2、假设最小的字符串来自A文件，那么再从A文件中取出第二个字符串放入比较数组中重新比较大小

3、重复执行步骤1，直到所有文件中数据都放入合并后的大文件

缺点：每次从数组中取最小字符串，都需要循环遍历整个数组

方案二

使用优先级队列（堆）

1、从100个文件中取出第一个元素放到小顶堆中，堆顶元素也即优先级队列队首就是最小字符串。将该字符串放入到合并后最终大文件中，并从堆顶部删除

2、再从小文件中取出下一个元素放入堆顶，循环该过程

3、删除堆顶元素和堆中插入元素的复杂度都是O(logn)

高性能的定时器

假设有一个定时器，定时器中维护了很多定时任务，每个任务都设定了一个要触发执行的时间点。定时器每过一个很小的单位时间（比如 1 秒），就扫描一遍任务，看是否有任务到达设定的执行时间。如果到达了，就拿出来执行

这种方式的缺点：每过 1 秒就扫描一遍任务列表的做法比较低效，第一，任务的约定执行时间离当前时间可能还有很久，这样前面很多次扫描其实都是徒劳的；第二，每次都要扫描整个任务列表，如果任务列表很大的话，势必会比较耗时。

优化方案：

按照任务设定的执行时间，将这些任务存储在优先级队列中，队列首部（也就是小顶堆的堆顶）存储的是最先执行的任务。
拿队首任务的执行时间点，与当前时间点相减，得到一个时间间隔 T
定时器就可以设定在 T 秒之后，再来执行任务。从当前时间点到（T-1）秒这段时间里，定时器都不需要做任何事情
T 秒时间过去之后，定时器取优先级队列中队首的任务执行。然后再计算新的队首任务的执行时间点与当前时间点的差值，把这个值作为定时器执行下一个任务需要等待的时间

利用堆求Top K

一类：静态数据集合

维护一个大小为 K 的小顶堆，顺序遍历数组，从数组中取出数据与堆顶元素比较
如果比堆顶元素大，把堆顶元素删除，并且将这个元素插入到堆中；如果比堆顶元素小，则不做处理，继续遍历数组
最后堆中的数据就是前K大数据

遍历数组需要 O(n) 的时间复杂度，一次堆化操作需要 O(logK) 的时间复杂度，所以最坏情况下，n 个元素都入堆一次，时间复杂度就是 O(nlogK)

二类：动态数据集合

一个数据集合中有两个操作，一个是添加数据，另一个询问当前的前 K 大数据。如果每次询问前 K 大数据，我们都基于当前的数据重新计算的话，那时间复杂度就是 O(nlogK)，n 表示当前的数据的大小；

方案：

实际上，可以一直维护一个 K 大小的小顶堆，当有数据被添加到集合中时，与堆顶的元素对比。
如果比堆顶元素大，把堆顶元素删除，并且将这个元素插入到堆中；如果比堆顶元素小，则不做处理。
无论任何时候需要查询当前的前 K 大数据，都可以立刻返回给他

利用堆求中位数

如何求动态数据集合中的中位数：中位数就是处在中间位置的那个数。如果数据的个数是奇数，把数据从小到大排列，那第 2n+1 个数据就是中位数（注意：假设数据是从 0 开始编号的）；如果数据的个数是偶数的话，那处于中间位置的数据有两个，第 2n 个和第 2n+1 个数据，这个时候可以随意取一个作为中位数，比如取两个数中靠前的那个，就是第 2n 个数据

静态数据

对于静态数据，中位数是固定的。可以先排序，第 2n 个数据就是中位数。每次询问中位数的时候，直接返回这个固定的值。所以，尽管排序的代价比较大，但是边际成本会很小。

动态数据

动态数据集合，中位数在不停地变动。

需要维护两个堆，一个大顶堆，一个小顶堆。大顶堆中存储前半部分数据，小顶堆中存储后半部分数据，且小顶堆中的数据都大于大顶堆中的数据。如果有 n 个数据，n 是偶数，我们从小到大排序，那前 2n 个数据存储在大顶堆中，后 2n 个数据存储在小顶堆中。这样，大顶堆中的堆顶元素就是我们要找的中位数。如果 n 是奇数，情况是类似的，大顶堆就存储 2n+1 个数据，小顶堆中就存储 2n 个数据

当添加一个数据时候：如何调整两个堆，使得大顶堆中的堆顶数据继续是中位数呢？

如果新加入的数据小于等于大顶堆的堆顶元素，将这个新数据插入到大顶堆；否则，将这个新数据插入到小顶堆
可能情况：如果 n 是偶数，两个堆中的数据个数都是 2n；如果 n 是奇数，大顶堆有 2n+1 个数据，小顶堆有 2n 个数据
这时候需要从一个堆中不停地将堆顶元素移动到另一个堆，通过这样的调整，来让两个堆中的数据满足上面的约定
最终求中位数只需要返回大顶堆的堆顶元素就可以了，所以时间复杂度就是 O(1)。

如何快速求接口的 99% 响应时间？

99% 响应时间。如果有 100 个接口访问请求，每个接口请求的响应时间都不同，比如 55 毫秒、100 毫秒、23 毫秒等，我们把这 100 个接口的响应时间按照从小到大排列，排在第 99 的那个数据就是 99% 响应时间，也叫 99 百分位响应时间。

利用两个堆实现。一个大顶堆，一个小顶堆。假设当前总数据的个数是 n，大顶堆中保存 n*99% 个数据，小顶堆中保存 n*1% 个数据。大顶堆堆顶的数据就是我们要找的 99% 响应时间。方法类似前面求中位数

解答开头

一个包含 10 亿个搜索关键词的日志文件，如何快速获取到 Top 10 最热门的搜索关键词呢？

多台机器可以采用map-reduce的解决方法

单机环境：

方案一

1、首先统计每个关键词出现频率

2、采用散列表，顺序扫描10亿个关键词，存在次数+1，不存在记录次数为1；遍历完成后散列表中就存储了不重复关键词以及出现次数

3、利用堆求Top K的方法，建立一个小顶堆大小为10，遍历散列表，然后从散列表汇中依次取出每个搜索关键词以及对应的出现次数，与堆顶中的搜索关键词进行对比。大就删除堆顶关键词替换为新的关键词，小于则不作处理

缺点：如果每个搜索关键词的平均长度是 50 个字节，那存储 1 亿个关键词起码需要 5GB 的内存空间，散列表因为要避免频繁冲突，不会选择太大的装载因子，所以消耗的内存空间就更多了。如果机器只有1G内存空间，那么无法一次性将所有关键词加入内存，

方案二

1、创建 10 个空文件 00，01，02，……，09

2、遍历这 10 亿个关键词，通过哈希算法对其求哈希值，然后哈希值同 10 取模，得到的就是搜索关键词应该被分到的文件编号

3、10 亿个关键词分片之后，每个文件都只有 1 亿的关键词，去除掉重复的，可能就只有 1000 万个，每个关键词平均 50 个字节，所以总的大小就是 500MB。1GB 的内存完全可以放得下

4、每个包含 1 亿条搜索关键词的文件，利用散列表和堆，分别求出 Top 10，然后把这个 10 个 Top 10 放在一块，然后取这 100 个关键词中，出现次数最多的 10 个关键词，这就是这 10 亿数据中的 Top 10 最频繁的搜索关键词

总结

优先级队列是一种特殊的队列，优先级高的数据先出队，而不再像普通的队列那样，先进先出。堆就可以看作优先级队列，只是称谓不一样罢了。

求 Top K 问题又可以分为针对静态数据和针对动态数据，只需要利用一个堆，就可以做到非常高效率地查询 Top K 的数据。

求中位数实际上还有很多变形，比如求 99 百分位数据、90 百分位数据等，处理的思路都是一样的，即利用两个堆，一个大顶堆，一个小顶堆，随着数据的动态添加，动态调整两个堆中的数据，最后大顶堆的堆顶元素就是要求的数据。

思考

有一个访问量非常大的新闻网站，我们希望将点击量排名 Top 10 的新闻摘要，滚动显示在网站首页 banner 上，并且每隔 1 小时更新一次。如果你是负责开发这个功能的工程师，你会如何来实现呢？

方案一

1、实时建立散列表，key是新闻的摘要，value是点击量；
2、建立一个10的小顶堆，每隔一个小时扫描一次散列表，根据点击量大小放入到小顶堆中，扫描完散列表后即出现Top10 的新闻点击量。

方案二

1，对每篇新闻摘要计算一个hashcode，并建立摘要与hashcode的关联关系，使用map存储，以hashCode为key，新闻摘要为值
2，按每小时一个文件的方式记录下被点击的摘要的hashCode
3，当一个小时结果后，上一个小时的文件被关闭，开始计算上一个小时的点击top10
4，将hashcode分片到多个文件中，通过对hashCode取模运算，即可将相同的hashCode分片到相同的文件中
5，针对每个文件取top10的hashCode，使用Map<hashCode,int>的方式，统计出所有的摘要点击次数，然后再使用小顶堆（大小为10）计算top10,
6，再针对所有分片计算一个总的top10,最后合并的逻辑也是使用小顶堆，计算top10
7，如果仅展示前一个小时的top10,计算结束
8，如果需要展示全天，需要与上一次的计算按hashCode进行合并，然后在这合并的数据中取top10
9，在展示时，将计算得到的top10的hashcode，转化为新闻摘要显示即可

方案三

1，维护两个散列表，一个是一小时新增的点击量的散列表，以新闻id为键，点击次数为值。一个是全部点击量的散列表。每隔一小时把新增的散列表的数据同步到全部点击量的散列表。然后把这小时内有变化的全部点击量的散列表的数据（即此小时有新增点击量的新闻数据）和我们维护的10个元素小顶堆堆顶进行比较，比堆顶的点击量大的，则使用该元素替换堆顶，再进行堆化。比堆顶点击量小的则不做处理。然后比较完，根据堆顶的10个元素的id，从数据库读取相应的新闻摘要显示在banner上。除此之外，还要把变化后的全部点击量散列表同步到数据库。因为保存的是新闻id，所以散列表长度不会很大，所占用的内存也不会很大。而每个小时新增的访问量的新闻id数也不会很多，毕竟很多人只会阅读热门消息。所以新增的点击量的新闻数据假设为k,则每小时同步小顶堆的时间负责度为o(klg 10);

2018-12-02